Ok, consegui entrar no console pressionando Ctrl + Alt + F1. Mas a resolução está errada no console. Consegui entrar no servidor com IPMI e a resolução é de 640x e algo assim ... Eu tenho um monitor de 1080p e o problema estava no console (não no xorg). Acho que preciso de drivers para minha Matrox G200.
EDIT: Eu percebi que eu preciso mudar a resolução via grub.