Não está claro para qual sistema operacional isso é. Se for para o Windows, você poderá copiar todo o diretório de instalação de uma máquina que você pode instalar - ou de uma máquina que já o tenha instalado - na unidade USB e executá-lo de lá. O Vim irá procurar por um arquivo vimrc no mesmo diretório que o executável do Vim.
Veja " :help $VIM
" e " :help vimrc
".