Parece um tipo de ataque de esgotamento de recursos. Precisaria de mais dados para dar uma resposta mais específica, mas você é capaz de obter capturas isoladas de pacotes do tráfego de ataque?
Não sabe ao certo o que você está protegendo, mas você precisa receber muitas conexões da Internet como um todo? Minha primeira tentativa de contra-atacar seria que você pode limitar quantas conexões estão sendo configuradas - para um limite razoável por (host / netrange / etc).