Você não pode rodar simultaneamente o console e o X11 (ou pelo menos você deve escrever seu próprio código para isso). Minha recomendação é configurar o seu X11 com tela dupla e na segunda tela basta colocar um aplicativo de console com o que você deseja nele.
Nos primeiros dias (2001) eu trabalhei em um patch para o Mingetty para conseguir isso: link , então tenho alguma experiência em relação a isso.