Bem, o Firefox REQUER o servidor X. O que você precisa é instalar o Firefox com a ajuda do gerenciamento de pacotes - ele deve instalar o mínimo dos pacotes, incluindo o servidor X. Então, você só precisa rodar o servidor X sem o ambiente de desktop. Basicamente algo como:
$ X
Então você acabou de iniciar o Firefox neste servidor X:
$ DISPLAY=:0 firefox
Você pode alternar do servidor X e do framebuffer usando CTRL + ALT + F1 e CTRL + ALT + F7.
Espero que ajude.