Acabou recebendo a resposta do vandemar no nginx IRC Channel. Parece bem simples, mas lutei para descobrir. O ELB estava manipulando o SSL, eu já tinha dado todas as informações do certificado. O problema estava tentando resolvê-lo novamente nas instâncias individuais ou no arquivo de configuração. A solução é apenas eliminar todo o material SSL do arquivo de configuração. Então, remover essas três linhas consertou tudo:
ssl on;
ssl_certificate ssl.crt;
ssl_certificate_key ssl.key;