Eu corri esse bug esta manhã, e parece que eu tinha algum arquivo sob o meu / home / dir que estava associado à propriedade root (neste caso, .Xauthority e outros). Mudei o proprietário de .Xauthority para meu nome de usuário e ele funciona agora.
Enquanto eu escrevi isso, vi outros posts semelhantes neste site, não é um problema 12.04, mas o bandido é sempre isso .Xauthority. Excluí-lo ou alterar o proprietário parece funcionar