Veja o manual
ignore = Name {*.swp}
É importante observar que o caractere curinga * não corresponderá aos arquivos que começam com um ponto . , portanto, isso não ignorará .swp arquivos criados temporariamente pelo vim. Para ignorar arquivos com um ponto principal em seu nome, você também precisa da linha
ignore = Name {.*.swp}
Você pode combinar essas duas linhas (ignorar todos os arquivos que terminam com .swp com ou sem um líder . ) e também ignorar alguns dos outros arquivos temporários que o vim cria ( .swo e .swn ) com esta linha única
ignore = Name {.*,*}.sw[pon]