Depois de alguns grepping, encontrei a solução: Você precisa adicionar a opção numpad:microsoft às XkbOptions. No Ubuntus mais antigo, faça isso no seu xorg.conf. Nos mais novos, abra o arquivo /etc/default/keyboard e altere esta linha:
XKBOPTIONS=""
para
XKBOPTIONS="numpad:microsoft"
Salve e reinicie (reiniciar o X parece não funcionar, pelo menos não com o RAlt + PrintScreen + K). Pode ser necessário executar sudo dpkg-reconfigure keyboard-configuration para que as alterações entrem em vigor.