Nesse caso, sua tela não é "única" e é independente uma da outra. Você pode ver isso na configuração do GDM, cada tela como sua própria porta de visualização.
Você só pode usar uma tela ativa por vez. Se a Alt + a tecla Tab estiver funcionando ao mesmo tempo em todos os monitores, você ainda terá apenas um ponteiro para ativar a tela.
Por isso, desafia a razão de ter alternador de tarefas.