Você está mudando duas vezes para retornar à origem.
Em vez disso, você deve ter alterado modifier :
remove mod1 = Alt_L
remove control = Control_L
add mod1 = Control_L
add control = Alt_L
ou keycode :
remove mod1 = Alt_L
remove control = Control_L
keycode 37 = Alt_L
keycode 64 = Control_L
add mod1 = Alt_L
add control = Control_L
Confira xmodmap (1) exemplo, eles add ao mesmo modificador eles remove d de:
remove Lock = Caps_Lock
remove Control = Control_L
keysym Control_L = Caps_Lock
keysym Caps_Lock = Control_L
add Lock = Caps_Lock
add Control = Control_L