Eu encontrei a solução sozinha depois de procurar por um tempo. Aparentemente, não há necessidade de um pacote adicional no topo do servidor X adequado, mas você precisa permitir conexões locais com o seu servidor X usando os seguintes comandos:
DISPLAY=:0
xhost +LOCAL:
Então funciona!