Provavelmente é possível, embora eu nunca tenha tentado.
Se você tiver uma única placa de vídeo e essa é uma NVidia que você usa com os drivers proprietários da NVidia, ela não funcionará (e, nesse caso, o que você viu foi apenas um efeito colateral "sortudo" de algum bug.) Isso ocorre porque eles (NVidia) não "propriamente" dividem cada porta de vídeo em uma porta de vídeo distinta.
No entanto, deve ser possível com outras configurações (2 placas de vídeo ou 2 portas em uma placa de vídeo com um driver livre do Linux) configurando o X11 como uma tela por vídeo e / ou porta. Na verdade, é chamado de configuração multi-sede. Só isso requer ter pelo menos dois teclados e dois monitores (você provavelmente não precisa de um segundo mouse no console, embora possa ser bom ter isso.)
Por padrão, o multi-seat iniciará ambos os sistemas no lightdm, mas você poderá usar Ctrl-Alt-F1 em um ou outro. Obviamente, eu não acho que uma maneira padrão de fazer as coisas, por isso pode ou não funcionar como esperado. Pode muito bem parar ambas as sessões do X11 para consoles ... Você terá que jogar com as configurações para ver se pode alcançar aquela configuração específica.
Quando terminar o console, você poderá usar Alt-F7 ou Alt-F8 para voltar à sessão do X11.