O servidor X remoto deve lhe dar permissão para contatá-lo. A solução mais simples foi:
xhost +
.. dado no lado remoto. Mas, avise, isso permitiu essa coisa de agarrar para todo mundo & em todos os lugares, o que você provavelmente não vai. Neste caso, uma solução melhor foi um
xhost +1.2.3.4
... onde 1.2.3.4 é o ip do qual você contata o servidor X remoto.
Se você quer ser muito seguro, você pode usar xauth
também, aqui você pode encontrar um tutorial para isso (é de 2-3 comandos ou mais).