O suporte do Emacs com X está vinculado ao X e, portanto, permite a abertura em uma janela especial com suporte ao mouse, melhores recursos visuais, fontes personalizadas, mais cores, etc.
O Emacs pode ser executado em um terminal, então se isso é tudo que você precisa, você deve instalar a versão nox .