Este é um aborrecimento do Windows infeliz. Quando um servidor Windows fica sobrecarregado, ele ativamente recusa conexões (respondendo com um RST) em vez de simplesmente não responder a elas (não enviando um SYN). Para evitar que isso seja interpretado como falha, os clientes Windows geralmente tentam novamente conexões (enviando outro SYN) mesmo quando são ativamente recusados (respondem com um RST).
Você deve tentar novamente a conexão, mesmo que ela seja recusada ativamente. Obviamente, se você tentar mais conexões por segundo do que o servidor pode manipular, elas não podem ter sucesso. Como você quer lidar com este caso é com você.
Portanto, a resposta curta é: o que você quer que aconteça se obtiver mais tentativas de conexão do que o servidor pode suportar? Você quer que eles fiquem muito, muito devagar? Ou você quer que eles falhem? Se o primeiro, tente novamente para sempre, esperando mais e mais entre as tentativas. Se este último, então desista.
Aumentar o backlog ajudará a evitar que curtos períodos de carga disparem esse erro. Mas se a taxa de conexão exceder a taxa que o servidor pode manipular, você não poderá fazê-lo funcionar. Nenhum número finito de conexões de backup seria necessário porque a taxa de conexão excede a taxa de conclusão de trabalho. Então, em algum momento, você precisa começar a falhar, a menos que os clientes sejam especificamente codificados para tentar novamente para sempre.