Sua abordagem está correta. No entanto, você não pode começar remotamente da maneira sugerida. Para o x11vnc funcionar, você precisa ter o Xserver em execução. Eu sugiro que você instale o xdm que o levará a uma tela de login no X. Você pode então ter o x11vnc no Xserver e logar dessa maneira.