Isso ocorre provavelmente porque a conexão TCP com o servidor X está desativada por padrão (em vez disso, sua sessão local é conectada por meio do mecanismo de soquetes do Unix).
Você pode ativar conexões TCP em sistemas que usam o gerenciador de exibição lightdm editando a seção [SeatDefaults] do arquivo /etc/lightdm/lightdm.conf e adicionando
xserver-allow-tcp=true
O equivalente no GDM é supostamente
[security]
DisallowTCP=false
(Eu não verifiquei isso, já que estou usando lightdm).
Por favor, note que isso provavelmente está desativado por um bom motivo, pois representa um possível vetor de ataque: Eu sugiro usar SSH com X forwarding se você precisar de acesso remoto a um servidor X.