Também teve o problema. O problema com o xmodmap é que ele precisa saber em qual ambiente será executado. Então a solução que usei foi colocá-lo em um arquivo de script e tornar o script executável:
#!/bin/bash
xmodmap /home/jed/.xmodmaprc
Para mais informações, consulte: