Não defina a exibição no lado remoto. Usando o parâmetro -Y no SSH, ele irá configurar um ouvinte no lado local (remoto) que será tunelado de volta para o lado local.
Você deve conseguir fazer isso:
local$ ssh -Y user@remote
remote$ xlogo
... e o xlogo irá aparecer.
Editar: isso pressupõe que a exibição está configurada no sistema local primeiro, ou seja:
local$ xlogo
... deve funcionar antes de você executar o ssh, já que o ssh apenas conecta o forward de volta a qualquer que seja a sessão de origem que considere a exibição correta. Isso é útil, já que você pode carregar sua exibição por meio de várias sessões ssh:
local$ ssh remote
remote$ ssh further
further$ xlogo
... deve funcionar.