X é o modo padrão de exibir gráficos no Unix, então você está ficando fora do caminho.
O Linux dá acesso ao console gráfico via SVGAlib . Aplicativos usando SVGAlib devem ser root setuid.
Sua escolha de aplicativos é um pouco limitada. Você pode usar zgv para ver fotos e mplayer para reproduzir filmes. Também há um backend do SVGAlib no SDL , portanto, qualquer aplicativo que use o SDL pode usar o SVGAlib.
"SVGAlib está longe de estar morto", como diz a FAQ - última atualização em 1999. A menos que seu computador seja do último século, você não economizará uma quantidade significativa de memória ao não rodar o X. Você também não obterá melhor velocidade, provavelmente pior que X, já que muito mais esforço será feito na otimização de drivers X do que drivers SVGAlib. . Você também está se expondo a mais erros de driver, especialmente se você alternar entre SVGAlib e X.