Tente adicionar esta linha ao seu ~/.xsessionrc :
xmodmap ~/.Xmodmap
A sugestão foi retirada de aqui e usaram ~/.xmodmaprc em vez de ~/.Xmodpam , talvez o nome foi alterado?
man xmodmap também parece achar que ~/.xmodmaprc é o padrão, mas não especifica se é lido por padrão:
The filename specifies a file containing xmodmap expressions to be exe‐
cuted. This file is usually kept in the user's home directory with a
name like .xmodmaprc.