Você pode verificar o certificado / par de chaves manualmente usando:
openssl x509 -noout -modulus -in subdomain_domain_com.crt | openssl md5
openssl rsa -noout -modulus -in server.key | openssl md5
A saída dos dois comandos deve ser a mesma. Isso lhe dirá que é um par válido.
Se for válido, mas você receber esse erro, dê uma olhada na seção "cadeias de certificados" em nginx - configurando servidores https . O NGINX espera que um certificado encadeado esteja em um arquivo, com o intermediário concatenado após o certificado do servidor. Se você os tiver na ordem errada, esse será o erro que você receberá.