O problema foi que eu interpretei a descrição para significar que havia um certificado X509 inteiro contido no arquivo .der
, quando na verdade era somente a chave pública RSA codificada por DER.
Como resultado, o comando correto para a edição acabou sendo o seguinte:
openssl rsa -inform der -in key.der -pubin