Você não precisa do X no servidor para executar xterm
(ou gnome-terminal
).
Se DISPLAY
não estiver definido quando você ssh
entrar no servidor, isso pode ser o problema (verifique com echo $DISPLAY
).
Se a sua máquina local não tiver o X instalado, você deverá analisar tmux
ou screen
para "multiplicar" seus terminais.