o layout do Colemak é definido no arquivo / usr / share / X11 / xkb / symbols / us
Olhando para a versão mais recente disponível para mim, AltGr + Shift + Hyphen (que seria a tecla AE11 à direita do AE10 (a tecla zero) e à esquerda da tecla AE12 (a tecla igual), diz emdash na Quarta coluna, portanto suas suposições estão corretas.
Talvez você não tenha carregado o layout correto. O que o setxkbmap -query diz? (especialmente sob layout e variante)?