Você pode usar :cd para que o Vim sempre mude para o seu diretório pessoal (por exemplo, antes seu comando :browse ).
Por exemplo, no seu .vimrc (ou melhor ainda, no seu .gvimrc (desde :browse só funciona no modo GUI)):
⋮
cd " defaults to HOME
browse open