É emacs (e xemacs e jed ) - não o Ubuntu - que cria esses arquivos. É uma cópia da versão anterior do arquivo sua edição, ou seja. o arquivo como estava antes de você fazer alterações e usou "salvar" para salvá-las. Eu admito que muitas vezes é um incômodo, mas é certamente útil se você fizer alterações que você mais tarde se arrepende.
Ele pode ser desativado manualmente - e você pode desativá-lo por padrão no arquivo .emacsrc .
Pessoalmente, executo um cron-job que remove backups que não são acessados há mais de uma semana.
emacs também cria arquivos chamados "# filename #" e ". # filename #". Este arquivo continha alterações não salvas - por exemplo. coisas que você fez desde a última gravação. O arquivo é atualizado periodicamente conforme você edita um arquivo. Se emacs (ou seu computador) falhar, você será solicitado a continuar com o "buffer recuperado" se tentar editar o arquivo novamente. (Esses arquivos eu também periodicamente "cron-away".)
Meu conselho, continue deixando emacs fazer back-ups ... mais cedo ou mais tarde você vai se arrepender se não fizer isso.