O Nginx não suporta o formato DER.
If not, is there a way to programmatically determine if the certificate file is in DER or PEM format?
Você pode usar o arquivo de comando para determinar o formato do certificado
# file www.example.net.der
www.example.net.der: data
# file www.example.net.pem
www.example.net.pem: ASCII text
PEM são arquivos ASCII codificados em Base64 enquanto o formato DER é simplesmente uma forma binária de um certificado em vez do formato ASCII PEM
Você pode converter DER - > PEM com openssl
# openssl x509 -inform DER -in www.example.net.der -outform PEM -out www.example.net.pem