Pode ser que não haja XAuthority em seu diretório de usuários até que você tenha efetuado login. Há algumas informações sobre onde procurar no site de documentação do x11vnc. O XAuthority só existe para o root, em um diretório que varia com o gerenciador de exibição e com a versão do Ubuntu, mas há algumas boas pistas lá.
Atualmente, estou tentando fazer com que o servidor vnc inicie automaticamente no Kubuntu 16.04, e meu arquivo de autoridade está em:
/var/run/lightdm/root/:0