Os pares de chaves OpenSSH não são PEM ou qualquer outro padrão x500. Novas versões do OpenSSH podem usar chaves X.509 PEM, mas isso é outra bola de cera separada do ssh-keygen, e tem que ser configurada explicitamente. Pelo que sei, nenhuma implementação importante do SSH usa exatamente os mesmos formatos de chave que qualquer outro.
Como Zoredache notas , se você estiver usando algo diferente de OpenSSH (deus iuvo vos), então pode ser difícil qualquer coisa.