Se você estiver lançando o gvim por meio de um atalho na barra de tarefas, acabará usando o system32 como o que normalmente seria esperado como a pasta base do usuário. Para verificar, clique com o botão direito no ícone vim da barra de tarefas, acesse propriedades e veja de onde está sendo iniciado.
Você pode querer configurá-lo manualmente no seu diretório de usuários. Então, coisas como viminfo _vimrc etc funcionam como esperado.
Além disso, lembre-se de que .vimrc (com o ponto) é o que o arquivo está em unix ou mac, mas usa sublinhado para windows: _vimrc. Eu diria que esse comportamento seria transferido para outros arquivos também, isto é. viminfo. O sublinhado é o char de ocultação equivalente ao ponto - eu acho ... já faz um tempo desde que eu as janelas.