maneira certa de mudar o xmodmap

Question

Meu ~/.Xmodmap :

remove mod1 = Alt_R
add mod1 = Alt_R

meu ~/.profile :

if [ -n "$BASH_VERSION" ]; then
    # include .bashrc if it exists
    if [ -f "$HOME/.bashrc" ]; then
  . "$HOME/.bashrc"
    fi
fi

if [ -f $HOME/.Xmodmap ]; then
    /usr/bin/xmodmap $HOME/.Xmodmap
fi

Por que não consigo alterar meu xmodmap?