Esses arquivos são backups. O Gedit as cria no caso de você cometer um erro ao editar um arquivo, para que você possa restaurá-lo depois. Portanto, se tiver certeza de que não deseja reverter essas alterações, você poderá excluir com segurança esses arquivos que terminam em "~".
Esse comportamento pode ser alterado se você quiser. Para isso, abra o Gedit, vá em Editar → Preferências → Editor e ative a opção "Criar uma cópia de backup dos arquivos antes de salvar."