No XFCE, você precisa adicionar o plugin Layouts de teclado a um painel. No Xubuntu, ele é instalado por padrão. Se não estiver, instale-o usando: apt-get install xfce4-xkb-plugin e adicione-o a um painel.
Clique com o botão direito do mouse nele e vá para Propriedades para configurar o que você deseja.