Teste isso:
Abra o Gerenciador de configurações do Xfce 4 --- Menu --- Configurações --- Gerenciador de configurações do Xfce 4
Clique no ícone do teclado.
Mude para o separador Esquema.
Desmarque Usar padrões do sistema
Clique no botão Adicionar e escolha o mapa de teclado apropriado na lista.
Selecione o layout ativo.
Se você precisar alternar entre diferentes layouts, a instalação do plug-in do teclado do painel do Xfce pode ser uma opção mais conveniente.
Instale o xfce4-xkb-plugin a partir de repositórios do Ubuntu:
sudo -i
apt-get update
apt-get install xfce4-xkb-plugin
Clique com o botão direito do mouse no painel Xfce e escolha Adicionar novos itens
Selecione o teclado e clique em Adicionar
O plugin do teclado deve aparecer no seu painel.