Permitir VNC do host local somente sem autenticação. Exija que os usuários estabeleçam uma sessão SSH com o encaminhamento de porta para acessar a sessão.
O SSH fornecerá sua autenticação / autorização. Você pode até mesmo ser capaz de adicionar uma regra iptables usando a opção -uid para limitar quais usuários podem acessar as portas VNC em 127.0.0.1 e registrar o uid dos usuários que acessaram o serviço.