Existe um plugin de layout de teclado para xfce - xfce4-xkb-plugin. Instale-o, se não estiver instalado, adicione-o ao painel. Clique com o botão direito no ícone e adicione os layouts desejados.
Para configurar apenas o uso de atalhos de teclado:
setxkbmap -option grp:switch,grp:alt_shift_toggle us,ru