Não, isso não é um comportamento pretendido. O arquivo _viminfo deve estar no seu diretório de usuários, e os arquivos .swp devem desaparecer após você descarregar o buffer ou sair do Vim.
Qual instalador você usou? Qual a versão do Vim, incluindo patchlevel? ( :version
durante a execução do Vim.)