A solução foi fornecer uma cadeia de certificados. Quando você faz o upload de um certificado SSL para a AWS, ele exige uma chave privada e pública. Ele também possui um terceiro campo para a cadeia de certificados que é opcional. Não incluí a cadeia de certificados originalmente e isso fez com que o navegador não conseguisse verificar o certificado.
Eu obtive minha cadeia de certificados do starfield (emissor) em:
[ link
Eu faço o download do sf_bundle.crt e uso isso para configurar a chave SSL na AWS. Problema resolvido.