Problema resolvido. Descobriu-se que o desktop do Ubuntu não estava instalado. Então eu fiz
sudo apt-get install ubuntu-desktop
Além disso, alterei uma linha em
/lib/systemd/system/x11vnc.service
ou seja
# ExecStart=/usr/bin/x11vnc -xkb -noxrecord -noxfixes -noxdamage -display :0 -auth guess -rfbauth /etc/x11vnc.pass
ExecStart=/usr/bin/x11vnc -create -xkb -noxrecord -noxfixes -noxdamage -display :0 -auth /var/run/lightdm/root/:0 -rfbauth /etc/x11vnc.pass -rfbport 5905
Após essa alteração, consegui me conectar via VNC (do meu Mac)