O formato de chave pública OpenSSH é diferente do formato PEM. Você precisa executar ssh-keygen para convertê-lo .
ssh-keygen -f ~/.ssh/id_rsa.pub -e -m PEM >pubkey.pem
Em seguida, converta-o para o formato DER usando openssl rsa .
openssl rsa -RSAPublicKey_in -in pubkey.pem -inform PEM -outform DER -out ~/.ssh/id_rsa.pub.der -RSAPublicKey_out
Observe que você também precisa especificar -RSAPublicKey_in (não -pubin ) e -RSAPublicKey_out para mantê-lo como Chave pública RSA (PKCS # 1).