Eu me deparei com um problema semelhante com minha configuração em um OUYA. Eu tenho a janela de login SLIM executando Xfce4, e também tenho SSH. Eu encontrei o arquivo MIT-MAGIC-COOKIE (/var/run/slim.auth), e consegui me conectar imediatamente ao display depois de executar o comando no SSH. O comando que funcionou para mim foi:
x11vnc -auth /var/run/slim.auth
Espero que isso resulte no resultado que você estava procurando.