O OpenSSL não entende as chaves públicas no formato OpenSSH. (Na maioria das vezes é apenas coincidência que ambos usem o mesmo formato de chave privada - de fato, o recente OpenSSH começou a usar um formato diferente e incompatível.)
Com o OpenSSH recente, você pode usar ssh-keygen -f id_rsa -e -m PEM
para obter um arquivo PKCS # 1.
Da mesma forma, ssh-keygen -f id_rsa -e -m PKCS8
fornecerá a chave no formato PKCS # 8.
Você também pode extrair a chave pública de formato OpenSSL do arquivo privado usando -in id_rsa -pubout
.