Você pode permitir que todos os usuários locais (ou seja, logados) usem a tela, fornecendo o comando em um terminal na tela de gráficos:
xhost +local:
Dependendo de como você inicia seu servidor, você pode colocar este comando em um arquivo de inicialização, ou até mesmo configurar o servidor com a opção.