Como não consegui encontrar nenhuma maneira de fazer isso, criei autokbisw .
O autokbisw (comutador de fonte de entrada de teclado automático) lembrará a última fonte de entrada escolhida para cada teclado que 'vê' e restaurará a fonte de entrada correspondente toda vez que o teclado se tornar ativo. O teclado "ativo" é o último teclado a enviar um evento de entrada. Sempre que a fonte de entrada mudar externamente, ela atualizará a fonte de entrada do teclado ativo.
Desta forma, a fonte de entrada se comporta como se o seletor de fonte de entrada fosse específico para um teclado e não para o sistema. O mesmo que o layout do teclado.