Sim, você também precisa instalar o cliente VNC em sua máquina XP. Quais são os números das suas portas, que pareciam ser diferentes? Portas devem ser as mesmas. Apenas no caso, se (algumas) portas estiverem ocupadas e / ou o roteador doméstico com máquinas numéricas estiver envolvido, talvez seja necessário usar o encaminhamento de porta.
EDITAR:
Para o XP, tente TightVnc . Eu tentei, funcionou bem para mim. Para o Ubuntu, é o X11VNC Server do repositório básico. sudo apt-get install x11vnc