Minha aposta é que você tenha algo em .profile ou .bashrc que exija X. Tente fazer login com
ssh -t server '/bin/bash --noprofile --norc'
A opção -t
força um pseudoterminal ("modo interativo") e as opções --noprofile --norc
para bash impedem a leitura de .bashrc
e .profile
.