Eu acho que o Vim não reconhecerá o arquivo de troca como pertencente ao arquivo editado.
O arquivo de troca do Vim contém o nome do caminho do arquivo editado. Isso faz sentido, já que você pode ter seus arquivos de troca em outro diretório que o arquivo editado. Aparentemente, o Vim verifica se o nome do caminho no swapfile encontrado corresponde ao arquivo a ser editado. Isso não estaria no seu caso, já que um caminho está na VM do Linux e o outro caminho está no Windows.
Infelizmente, não consegui encontrar uma prova dessa teoria no manual do Vim e não tenho tempo agora para verificá-la nas fontes.