Parece que esta citação explica:
Warning. setxkbmap not only alters the alphanumeric keys to the values given in the map; it also resets all other keys to the startup default. If you have assigned values to the Windows keys or the multimedia keys, these settings may be lost.
Como o estado visual padrão e do sistema (ou "atual") da tecla Num Lock, presumivelmente, é desligado , acredito que seja por isso que isso acontece. Por que o estado do sistema está intacto e porque isso só acontece quando pressionar certas teclas ainda é um mistério.