Isso não é facilmente possível.
Como a página man do xmodmap afirma:
The first keysym is used when no modifier key is pressed in conjunction with
this key, the second with Shift, the third when the Mode_switch key is used
with this key and the fourth when both the Mode_switch and Shift keys are used.
Por padrão, AltGr é a tecla Mode_switch.
É possível mapear um diferente ou adicional (para AltGr ) como a tecla Mode_switch , por exemplo. a tecla direita Ctrl :
xmodmap -e "keycode 105 = Mode_switch Mode_switch"
No entanto, o problema é que a chave não funcionará mais como uma tecla Ctrl normal.
Btw: Há uma pergunta, que pede precisamente, como usar a tecla Ctrl como uma tecla modificadora: Como usar o controle como modificador com o xmodmap?