A página do manual de visão geral de X (7) (recomendo ler a coisa toda, a propósito) nos diz:
The file from which Xlib extracts authorization data can be specified with the environment variable XAUTHORITY, and defaults to the file .Xauthority in the home directory.
Portanto, não XAUTHORITY não é obrigatório se você tiver seu arquivo de autorização no local habitual. É perfeitamente normal que os clientes X trabalhem sem ele. A alternância de usuários pode quebrá-lo porque o diretório inicial é diferente e a configuração da variável de ambiente ajuda nesse caso.