Você precisa especificar a exibição para se conectar na máquina remota, por exemplo:
xeyes -display 192.168.0.104:0
Em geral, um nome de exibição é:
hostname:displaynumber.screennumber
hostname
pode ser omitido para conexões locais e .screennumber
pode ser omitido para usar a tela padrão.