O Vim salva arquivos de troca no mesmo diretório do arquivo que você está editando por padrão. Você deveria procurar lá.
Se você alterou no seu .vimrc (ou você fez o download de outra pessoa), verifique novamente se eles foram salvos em outro lugar. A opção seria algo como set dir=~/.vim/swap .
Depois de determinar onde os arquivos de swap provavelmente serão encontrados, devemos recuperá-los. Em um sistema * nix, eles são arquivos ocultos (prefixados com . ), e em sistemas DOS (Windows), pode ser prefixado com a = (mas provavelmente não oculto).
Portanto, em um sistema * nix, o arquivo que você está procurando será parecido com myfile.swX , em que myfile é o nome do arquivo perdido e X pode ser qualquer letra após p (O vim renomeia os arquivos de swap em vez de excluí-los).
Para recuperar seu arquivo assim que o encontrar, abra o Vim e execute :recover myfile.swp .
Boa sorte, e espero que você encontre seus arquivos!