Você precisa dizer ao servidor X para não alterar o vt (terminal virtual). Há uma opção para isso: -novtswitch . Com o kdm, ele deve ser adicionado à linha ServerArgsLocal em kdmrc .
A má notícia é que esta opção parece não funcionar no X.org (impede que o X mude o vt quando ele sai !). O Google exibe muitos relatórios, mas não tem solução.
Dependendo de suas necessidades, você pode ser capaz de deixar X mudar o vt e, em seguida, alterá-lo novamente com o comando chvt após alguns segundos.