Você não respondeu sua própria pergunta? Quando existem conexões não aceitas, o aplicativo fica lento. Se você está se perguntando se esse comportamento é esperado, sim, é. Se as conexões de entrada estiverem enfileiradas, a quantidade de tempo gasto na fila aumentará a latência da solicitação para o cliente, levando à resposta lenta descrita. Para corrigir o problema, você precisa diminuir o número de conexões de entrada (geralmente não uma opção) ou adicionar recursos ao aplicativo. A última pode ser obtida aumentando os recursos disponíveis para o sistema em geral ou (e essa é a melhor opção) adicionando nós em um cluster de balanceamento de carga.