uma linha com *~
no seu arquivo .gitignore deve fazê-lo. Aqui está um exemplo do arquivo .gitignore padrão para o meu clone git yelp-tools:
$ cat /home/doug/temp-yelp-git/yelp-tools/.gitignore
*~
INSTALL
Makefile
Makefile.in
/aclocal.m4
/autom4te.cache
/ChangeLog
/config.guess
/config.log
/config.status
/config.sub
/configure
/install-sh
/intltool-extract.in
/intltool-merge.in
/intltool-update.in
/missing
/tools/yelp-build
/tools/yelp-check
/tools/yelp-new
/xslt/mal-ncx.xsl
/xslt/mal-opf.xsl