Curiosamente, no Windows 7, mesmo quando não é possível encontrar drivers de dispositivo para o teclado HP SK-2025, o problema ainda estava lá.
Eu fiz o upgrade para o Windows 10, depois que consegui fazer o login pela primeira vez, nunca mais tive o problema. Talvez o Windows 10 tenha encontrado um driver para isso de alguma forma?