Agora sou oficialmente um idiota.
Eu uso KSuperKey para acessar o KRunner mais rápido. E enquanto configurava o meu desktop, eu copiei esse trecho sem pensar do README do ksuperkey:
ksuperkey -e 'Control_L=Escape;Super_L=Alt_L|F2'
Depois que eu finalmente percebi, eu removi o primeiro item para que parecesse assim:
ksuperkey -e 'Super_L=Alt_L|F2'
Problema resolvido.