Percebo na configuração fornecida que você está correndo na frente de um balanceador de carga do AWS ELB v2 e acredito que v2e aponte diretamente para um servidor de aplicativos (que estaria, de outra forma, atrás do ELB)
Se for isso, isso sugerirá que, junto com o erro 503, a conexão entre sua instância HAProxy e o ELB está atingindo um tempo limite, o tempo limite de 4 segundos contimeout ou o tempo limite de 300% server . O mais provável é o 4 segundo contimeout e a esporadicidade do erro confirma ainda mais que é provável que seja um problema de rede entre o HAProxy e o ELB.
Eu tentaria aumentar o valor de contimeout , bem como monitorar a latência entre o HAProxy e o ELB.