Reinicie.
Pressione e mantenha pressionada a tecla Shift esquerda.
Procure pelo kernel que termina em (modo de recuperação) e carregue-o.
Agora, vá para um shell de raiz.
Em seguida, vá para o diretório do usuário em questão e exclua o arquivo .Xmodmap.