Se você já tem a chave pública, tente substituir a opção der pelo PEM assim:
openssl rsa -inform PEM -pubin -text < pubkey.pem
Caso contrário, você pode extrair a chave pública do arquivo key.pem assim:
openssl rsa -in key.pem -pubout -out pubkey.pem
e, em seguida, execute o primeiro comando novamente.