O servidor X gerencia o estado da placa gráfica quando ela está ativa. Quando você alterna entre X e um console de texto ou de volta, a placa gráfica precisa ser reinicializada. Dependendo da placa gráfica e de como ela é usada, pode haver um atraso inevitável. Um atraso de 1s está no lado alto, mas não é irracional.
Poucas pessoas usam um console de texto, portanto, mesmo que fosse possível melhorar o tempo de transição (o que pode não ser), isso não é uma alta prioridade para os desenvolvedores.
Se esse atraso for realmente um problema, tente alterar o driver ou a configuração no X, nos consoles de texto ou em ambos. Se você estiver usando um driver proprietário, use o driver gratuito ou vice-versa. Se você estiver usando um console framebuffer, não, ou vice-versa. Algumas opções que podem afetar o que precisa ser reinicializado quando o console alterna os proprietários; Eu não sei o que procurar em particular.