Depois de mais esforços para resolver isso, descobri uma maneira de conseguir o que queria. Em vez de eu implantar uma guerra de jenkins manualmente, eu instalei jenkins de seu repositório de distribuição RHEL e tudo parece estar funcionando bem.
Minha configuração é:
Internet - > (443) ELB (443) --- > (8080) EC2 Jenkins
O ELB não tem aderência ativada e está encerrando as conexões SSL. A conexão com o backend do Jenkins é sobre HTTP.
Espero que isso ajude qualquer um que queira executar o Jenkins diretamente atrás de um ELB sem um servidor web entre os proxy.