Primeiro, um esclarecimento, X não é um gerenciador de janelas , é um sistema de janelas .
Agora, o arquivo ~/.Xauthority é simplesmente onde as credenciais de identificação da sessão X do usuário atual são armazenadas. É o arquivo lido quando o sistema precisa determinar se você tem o direito de usar o atual X sessão.
Você nunca deve copiar um existente de outra conta, o arquivo deve sempre pertencer ao usuário que está executando X e é criado automaticamente quando você inicia uma nova X sessão. Então, basta excluir o que você tem e, em seguida, executar startx novamente, tudo deve funcionar normalmente:
$ rm ~/.Xauthority; startx