O Apache tem configurações para controlar como os threads são usados e quantos ficam na memória depois que eles não estão mais em uso. O principal motivo para deixar os threads não utilizados no local é melhorar o desempenho. Tudo está bem explicado na documentação do trabalhador do Apache MPM .
A configuração que você está procurando é MaxSpareThreads.