Você pode definir HOME para o que quiser
set HOME=h:\example_directory\ (or something)
(ou vá ao painel de controle \ System \ Advanced \ Environmental ... e crie uma variável ambiental com esse nome)
mas por que não colocar o Vim em algum diretório para que
\gvim
\gvim\_vimrc
\gvim\vim73\
\gvim\vimfiles
é sua ordem de arquivos & pastas. Dessa forma, se nada for encontrado em HOME , ele ainda encontrará os arquivos relevantes (deve).