xmodmap
e setxkbmap
são utilitários conflitantes. Chamar xmodmap
redefinirá as alterações feitas por setxkbmap
e vice-versa. Você tem que escolher um deles para fazer sua configuração de teclado com. E também descobrir se seu sistema está usando um ou outro.
Você pode encontrar problemas se, por exemplo, você usar xmodmap
no seu .xsession
ou similar e após o arquivo da sessão ser analisado, o seu DE chamará o setxkbmap por meio de algum script.