vncserver é um script que executa Xvnc . Você está perdendo o Xvnc, que é meio que ... desatualizado. O RealVNC parece ignorar que alguma vez teve uma versão de software livre.
Está aqui, no entanto: link
Tightvnc e Tigervnc são versões mais modernas do Xvnc; Eu acredito que vincular simbolicamente o Xvnc a um desses servidores também funcionaria.
Vou continuar procurando informações, porque tive que lidar com isso uma vez, mas minhas lembranças não são muito claras. Espero que isso te coloque no caminho certo, pelo menos.
Eu não tenho nenhuma experiência com o solaris especificamente, mas acredito que você possa instalá-lo via pkg , com base em alguma pesquisa:
pkg install --accept solaris-desktop
Acho que o comando provavelmente também corrigirá os xauth ausentes.