Estou testando no Ubuntu 12.04 com o X.Org X Server 1.11.3.
Eu tentei a solução de Johan e, no começo, pareceu funcionar, mas achei no meu sistema que o texto depois de "local:" estava sendo ignorado. O resultado foi que todos os usuários locais receberam acesso à minha sessão X em vez de um usuário.
A mágica que encontrei funcionou foi:
xhost +SI:localuser:masi
Substitua a parte após o último cólon pelo nome de usuário que você deseja conceder acesso. Você pode inspecionar a lista autorizada executando xhost sem nenhum parâmetro. Deve ser algo como:
access control enabled, only authorized clients can connect
SI:localuser:masi
SI:localuser:myself
Isso indica que o usuário "masi" e o usuário "eu mesmo" estão recebendo permissões de xhost da mesma maneira.