Quando você inicia o gvim, ele usa seu diretório atual como seu diretório atual. Você pode alterar o modo como você o inicia usando um comando mais longo ou um script pequeno como
#!/bin/sh
cd $HOME
gvim "$@"
Ou você configura o vim para sempre alterar seu diretório atual adicionando
cd $HOME/Desktop
para o seu arquivo .vimrc.