Habilitar Keep-Alives HTTP tenta manter as conexões abertas para permitir que os clientes baixem vários recursos sem a sobrecarga de configurar uma nova conexão para cada um. O tempo limite é quanto tempo aguarda.
Mesmo com uma configuração de conexões ilimitadas no IIS, ainda há um limite para o número de conexões que a máquina pode manipular. Ao configurar repetidamente novos testes no seu teste de martelação, você atingiu esse limite e bloqueou um novo sendo feito por telnet.
Ao desativar o http keep alive ou reduzir o tempo limite, você aumentou a rotatividade de conexões, mas às custas de aumentar a sobrecarga para navegadores reais que não se comportam da mesma maneira que o seu cliente de teste. Ao tentar ganhar desempenho, você pode ter reduzido isso.
Como a maioria das coisas, encontrar a melhor configuração é um ato de equilíbrio que dependerá do seu uso real.