Três coisas. Primeiro, se você estiver usando teclas modificadoras, não há parênteses. A página de manual apenas inclui aqueles para indicar que essas partes da sintaxe são opcionais.
Segundo, de acordo com a página man:
MODIFIER may be one of Ctrl, Lock, Caps, Shift, Alt or Meta.
Então, por exemplo, acabei de criar um shruggie XCompose tendo o atalho Ctrl+Alt+y
com a linha:
! Ctrl Alt <y>: "¯\_(ツ)_/¯"
No entanto, em terceiro lugar, observe que o AltGr não está na lista de modificadores permitidos. Você provavelmente deseja configurá-lo como a tecla Compose, como descrito aqui .
Após seguir esse procedimento, AltGr será representado como <Multi_key>
e, portanto, sua linha .XCompose
para produzir um shruggie com a sequência AltGr a b
seria:
<Multi_key> <a> <b>: "¯\_(ツ)_/¯"
Espero que ajude.