Parece que uma de suas máquinas está rodando no wayland como gerenciador de exibição e muitos aplicativos, incluindo o x11vnc, dependem muito do Xorg / Xserver e não funcionam no wayland.
Portanto, a mudança para o gerenciador de exibição de anúncios Xorg deve corrigir seu problema. Isso pode ser feito efetuando logout e alterando o gerenciador de exibição clicando na pequena roda dentada ao lado do botão de login. (Veja a captura de tela)