Você pode simplesmente executar rm *~ se tiver certeza de que não há outro arquivo necessário, que termine em ~
Se for gedit a criar os arquivos de backup, você poderá abrir o gedit, selecionar Edit->Preferences->Editor e desmarcar a opção "Create a backup copy of files before saving"
E para nano , procure em /etc/nanorc para:
## Backup files to filename~.
set backup
e mude isso para
## Backup files to filename~.
# set backup