Eu recebi a resposta no bate-papo .
Eu tive que adicionar nomodeset
como um parâmetro de inicialização para o kernel que fez isso funcionar. Eu ainda tenho uma falha no carregamento de dispositivos gráficos de backup, mas desde que eu vou estar usando o servidor principalmente via ssh isso não é um problema.
(Resumindo, é provável que o driver gráfico falhe de alguma forma. Estou usando uma NVidia GT 620, que pode ser muito nova.)