Por mais intuitivo que pareça ser o VNC é uma opção: execute o guest com um console VNC, o qual você ignora completamente, então use o X sobre o ssh para fazer o trabalho normal.
Estamos executando essa configuração com centenas de convidados do Linux, BSD e Windows (RDP em vez de X) e funciona bem.
Você pode simplesmente bloquear a ligação VNC ao host local, se estiver preocupado com os aspectos de segurança.