Ok, depois de incontáveis minutos de testes, finalmente encontrei o que precisava (fiquei muito desesperado quando postei essa pergunta).
Você precisa criar um .Xmodmap com o seguinte conteúdo:
keycode 62 = Mode_switch
keysym a = a A Left
keysym d = d D Right
keysym s = s S Down
keysym w = w W Up
62 é o código chave de R_Shift .
Funciona perfeitamente.