OK!
Então eu entrei neste pensamento "Fácil, eu tenho isso." Acontece que há muito mais do que eu pensava.
Portanto, o primeiro problema é que (de acordo com as páginas man do OpenSSL (man 3 pem)), o OpenSSL espera que a chave RSA esteja no formato PKCS # 1. Claramente, isso não é o que o ssh-keygen está trabalhando. Você tem duas opções (de pesquisar ao redor).
Se você tiver o OpenSSH v. 5.6 ou posterior (eu não fiz no meu laptop), você pode executar isto:
ssh-keygen -f key.pub -e -m pem
O método mais longo de fazer isso é separar sua chave SSH em seus vários componentes (o blog entry Eu achei que parte disso acusa o OpenSSH de ser "proprietário", eu prefiro chamá-lo de "único") e então usar um ASN1 biblioteca para trocar as coisas.
Felizmente para você, alguém escreveu o código para fazer isso: