X possui um mecanismo de autenticação, que decide se um cliente pode se conectar a um servidor
Sem saber outros detalhes, como o usuário tentando acessar o X, não posso ser tão específico com essa resposta quanto gostaria, mas você pode tentar isso e ver se funciona:
xhost +localhost
Da página man: O programa xhost é usado para adicionar e excluir nomes de host ou nomes de usuários à lista permitida para fazer conexões com o servidor X. No caso de hosts, isso fornece uma forma rudimentar de controle e segurança de privacidade. É suficiente apenas para um ambiente de estação de trabalho (usuário normal), embora limite os piores abusos. Ambientes que exigem medidas mais sofisticadas devem implementar o mecanismo baseado no usuário ou usar os ganchos no protocolo para passar outros dados de autenticação ao servidor.
+ O acesso é concedido a todos, mesmo que não estejam na lista (ou seja, o controle de acesso está desativado).