Então, se alguém tiver esse problema e não conseguir encontrar uma resposta, aqui está minha correção, depois de mais duas horas de pesquisa.
O culpado foi nosso balanceador de carga da Amazon. Os servidores são executados em instâncias ec2, que estão por trás de um balanceador de carga. O balanceador de carga tem um tempo limite ocioso de 60 segundos definido. Basta definir esse tempo limite com o valor desejado, descrito aqui , que removeu o 504.