Eu provavelmente mudaria para o noVNC com o websockify. Execute o websockify no host e configure-o para usar um certificado SSL. Você pode então conectar-se totalmente criptografado ao convidado. Certifique-se de fazer o firewall da porta VNC bruta, para que ela não seja acessível pela Internet.
Além disso, você pode fazer o script completo das instalações do Debian com o preseed, para que você não precise fazer login para digitar as coisas.