De acordo com este , este comando pode ser usado:
ssh-keygen -f id_rsa -e -m pem
Isso converterá sua chave pública em um formato compatível com OpenSSL. Sua chave privada já está no formato PEM e pode ser usada como está (como Michael Hampton declarou).
Verifique se a AWS não está solicitando um (<509) certificado no formato PEM, o que seria ser uma coisa diferente das suas chaves SSH.