xmodmap e setxkbmap são utilitários conflitantes. Chamar xmodmap redefinirá as alterações feitas por setxkbmap e vice-versa. Você tem que escolher um deles para fazer sua configuração de teclado com. E também descobrir se seu sistema está usando um ou outro.
Você pode encontrar problemas se, por exemplo, você usar xmodmap no seu .xsession ou similar e após o arquivo da sessão ser analisado, o seu DE chamará o setxkbmap por meio de algum script.