Eu tive exatamente o mesmo problema (embora usando o Xubuntu 12.04). O que ajudou no meu caso foi remover o applet do switch de layout de teclado do meu painel. De alguma forma, este applet configura periodicamente o layout do teclado, sobrepondo-se a qualquer coisa que esteja definida via xmodmap.