Exatamente como você já tem.
O problema é que o usuário B não está autorizado a ter seus clientes conectados ao servidor. O usuário A deve executar xhost
apropriadamente para permitir acesso ou fazer com que o usuário A compartilhe seu cookie mágico com o usuário B. Consulte as páginas xhost(1)
e xauth(1)
man para obter detalhes.