Soa como se uma tecla Shift estivesse presa em algum lugar - a maneira mais fácil de verificar é ver se o teclado se comporta normalmente quando você mantém pressionado o seu Shift enquanto conectado remotamente.
Uma maneira de resolver isso no Windows é usar Teclas de aderência no computador remoto para "colar" a tecla Shift (que resultará no comportamento desejado: 1 introduzirá o número 1, etc.).