Você poderia fazer isso montando a pasta remota como um sistema de arquivos usando o sshfs. Para fazer isso, primeiro alguns pré-requisitos:
# issue all these cmds on local machine
sudo apt-get install sshfs
sudo adduser <username> fuse
Agora, faça o processo de montagem:
mkdir ~/remoteserv
sshfs -o idmap=user <username>@<ipaddress>:/remotepath ~/remoteserv
Depois disso, basta acessar a pasta montada e usar seu próprio vim personalizado local.