você não carregou corretamente o script vncconfig para a sessão vnc
adicione
vncconfig -iconic &
ao seu xstartup para o xubuntu-desktop, seu xstartup deve se parecer com
#!/bin/sh
unset SESSION_MANAGER
unset DBUS_SESSION_BUS_ADDRESS
startxfce4 &
[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &