Você precisa especificar a exibição para se conectar na máquina remota, por exemplo:
xeyes -display 192.168.0.104:0
Em geral, um nome de exibição é:
hostname:displaynumber.screennumber
hostname pode ser omitido para conexões locais e .screennumber pode ser omitido para usar a tela padrão.