Com o Xorg - sim, usando um tipo especial de endereços "interpretados pelo servidor":
xhost +SI:localuser:root
xhost +SI:localuser:jim
Alternativamente, você poderia dar a cada usuário uma cópia do arquivo Xauthority que você usou para Xorg -auth …
.
No entanto, o X11 não foi projetado para vários usuários acessando a mesma tela, e cada cliente basicamente tem acesso total, então você está introduzindo uma enorme falha de segurança ao fazer isso - qualquer usuário pode monitorar a tela inteira, executar um keylogger, conceda a ninguém mais acesso ou revogue o acesso para usuários existentes.