Você não precisa do X no servidor para executar xterm (ou gnome-terminal ).
Se DISPLAY não estiver definido quando você ssh entrar no servidor, isso pode ser o problema (verifique com echo $DISPLAY ).
Se a sua máquina local não tiver o X instalado, você deverá analisar tmux ou screen para "multiplicar" seus terminais.