Você pode extrair uma chave pública PEM de uma chave privada OpenSSH usando:
openssl rsa -pubout -in .ssh/id_rsa
Mas o OpenSSH não tem ferramentas para converter ou chaves públicas PEM (nota: PEM chaves privadas são o formato nativo do OpenSSH para chaves do protocolo 2)