Se você não quiser usar o X, a única opção que resta é o framebuffer do kernel.
O que você quer fazer não é fácil e não faz muito sentido por apenas uma razão, os drivers VGA para o mundo linux de hoje são principalmente escritos para X, e quando eu digo principalmente eu quero dizer 99,9% do total quantidade de drivers VGA.
Esta é uma introdução ao link do framebuffer
O novo garoto no bloco é Wayland, mas não tem muita atenção, falta de suporte ao motorista.