Basta fazer logout e fazer login novamente. Como alternativa, descubro que apenas desconectando meu teclado e conectando-o novamente restaura o xmodmap que estou testando.
Isso funciona desde que você não faça nenhuma alteração no seu mapa de teclado que carregue na inicialização.
Para estar no lado da economia, muitas pessoas recomendam que você faça uma configuração de backup, assim:
xmodmap -pke > ~/originalkeymap.xmod
Você pode carregar as configurações originais a qualquer momento:
xmodmap ~/originalkeymap.xmod