Sim, eles esgotam o tempo limite após um tempo limite de keep-alive pré-especificado. (5 segundos por padrão no Apache: link ).
Sem esses servidores, eles ficariam vulneráveis a manter as conexões ativas para sempre (desperdiçar recursos) para aqueles que não fecham bem a conexão ou não conseguem (por exemplo, um dispositivo móvel que cai da rede de repente).
Ajustar seu tempo limite de atividade pode gerar ganhos de desempenho para os clientes (já que eles não precisam iniciar uma reconexão completa), mas ao custo da memória no servidor para gerenciar essa conexão.