Verifique se o servidor X em 192.168.0.4 não está sendo iniciado com o sinalizador -nolisten tcp que desativa a abertura das portas TCP e esse número de exibição da porta 6000 + (no seu caso, 6000 para display: 0) não está bloqueado em um firewall ao longo do caminho da rede.
Além disso, para ssh, verifique as configurações de X11Forwarding em /etc/ssh/ssh_config , /etc/ssh/sshd_config e $HOME/.ssh/config .