E outra opção é o plug-in netrw integrado do vim para abrir arquivos remotos. Funciona muito bem com o plugin do projeto.
Mas, para poder trabalhar com qualquer coisa sobre o ssh, a primeira coisa que faço é registrar minha chave ssh:
ssh-copy-id user@host para registrar a chave com o host e verificar ssh-agent está em execução e adicionar a chave usada com ssh-add .
Costumo fazer coisas como:
diffsplit scp://user@$REMOTE/path/to/dir/%
que difere o arquivo no $REMOTE host em ~user/path/to/dir com o mesmo nome relativo do arquivo aberto atual. Eu amo vim, embora eu tenha certeza que é possível no emacs também.