Oi, isso é mais do que um pouco tarde, mas eu tive esse problema hoje e descobri. Se você olhar para a lista dada por xmodmap -pke, ela começará às 8 sendo vazia, 9 sendo escape e assim por diante. MAS - se você olhar para a saída de
showkey --keycodes //(in a console, not a terminal - eg the Ctrl-Alt-F1 thing)
ele diz que escape é mapeado para 1, e todas as teclas que você pressionar serão de um valor que é 8 menor que o que o xmodmap mostrará a você. Eu não posso te dizer por que isso acontece, mas acontece. Espero que isso ajude as pessoas no futuro:)