O OpenSSH pede uma senha para cada entrada de lixo. Existe um bug aberto para o upstream. Pode ser muito confuso para muitos usuários.
A única maneira de verificar o que está por trás disso é usar o openssl diretamente:
openssl rsa -text <mykey.pem
Deve pedir uma senha ou reportar qualquer outro erro na chave.