Não.
Quando você inicia o X, o VT deixa de ser tratado como um "dispositivo de texto" e se torna um "gráfico". Antigamente a distinção era clara: ou o VT estava confiando na BIOS (pelo menos até certo ponto), conhecia apenas alguns modos de texto e era incrivelmente rápido, ou foi mudado para um modo gráfico , tinha mais cores e / ou resolução maior e era mais lento. Hoje em dia a diferença não é tão clara (pelo menos no Linux, não podemos dizer sobre outras variantes do UNIX), já que o VT textual realmente usa o modo gráfico, com a "tradução" sendo feita no kernel. No entanto, você permite que um aplicativo baseado em texto abra o VT ou o deixe em X (ou qualquer outro front end gráfico como, por exemplo, uma implementação do protocolo Wayland).
Quanto aos problemas de velocidade, escolha seu terminal certo. É provável que o terminal do Gnome seja mais lento que xterm , que por si só é muito mais lento que por exemplo urxvt , a menos que você o force a usar os mesmos truques sujos urxvt , definindo o recurso X apropriado:
XTerm*fastScroll: true
É muito provável que você queira ler Um emulador de terminal pode ser tão rápido quanto o TTY 1-6? , configure seu terminal adequadamente e use o modo gráfico.
Como uma nota à parte, há algum tempo (por volta de 2007), eu tive problemas com o driver do kernel nVidia framebuffer, que era muito lento em grandes resoluções como 1600x1200 - ler páginas man no XTerm era muito mais rápido.