Ao usar o X11, é necessário apenas um servidor X na máquina que possui o teclado e o monitor que você deseja usar, você não precisa de um servidor X na máquina em que os aplicativos (clientes X) estão sendo executados.
Então, sim, você pode usar os programas do seu cliente em SSH.