Na verdade, a resposta que eu estava procurando era modularizar o suporte ao framebuffer. Uma vez que é um módulo, você pode habilitar / desabilitá-lo e não ter mais vídeo.
Já utilizei a configuração da consola acima, mas pretendia desativar completamente o vídeo.