A ferramenta de layout de teclado XFCE padrão é basicamente uma interface GUI para setxkb
e, até onde eu sei, só permite alternar os layouts globalmente. Se você quiser por configurações de aplicativo / janela, tente xfce4-keyboard-plugin , defina "Gerenciar layout "de" globalmente "para" por janela "ou" por aplicativo ":