Sim, acontece que se você for sudo vncserver , ele é ativado com o arquivo .Xauthority sob o diretório /home/user . Você só deve iniciar o vncserver como usuário.
Sooooo ...
Eu fiz sudo chmod 777 /home/user/.Xauthority e lá consegui fazer o login. Eu encontrei alguma literatura ruim sobre a criação de um novo arquivo .Xauthority, mas vou cavar mais até encontrar algo melhor.