Embora isso não responda diretamente à sua pergunta sobre a autenticação VNC, talvez uma solução mais apropriada para o seu problema seja o NX.
O Google lançou um servidor NX decente de código aberto na forma de neatx ou, como alternativa, há FreeNX que também é de código aberto, mas um pouco mais complicado e com script de shell em sua implementação. Eu tive mais sucesso com o Neatx. E, claro, há sempre o servidor comercial NX, dos criadores de protocolos NoMachine . O servidor "livre" NoMachine NX é inadequado para a maioria dos sistemas de produção normais devido a limitações (simultâneas e número de usuários únicos = 2), mas se você quiser pagar, essas limitações serão removidas.
Em seguida, está o cliente. Minha melhor experiência ainda é com o cliente NoMachine, mas eu ainda não tentei OpenNX , foi apenas o QtNX que não me satisfez totalmente. Como o servidor, o cliente NoMachine NX é apenas pseudo-livre, mas não há limitações irritantes além da licença.
Mais uma vez, não é exatamente o que você pediu, mas talvez uma solução que valha a pena considerar.