Uma possibilidade seria instalar phpVirtualBox em sua estação de trabalho (será necessário instalar o Apache e o PHP) e, em seguida, usar que para gerenciar as VMs através de um navegador da web em todos os casos - em outras palavras, pare de usar o SSH completamente.
Haverá preocupações de segurança a serem consideradas, concedidas, mas isso pode ser uma solução possível para você.