Portanto, parece que há algum tipo de ataque de estouro à primeira vista.
Meus sistemas, eu uso regularmente um iDS, IPS (sistema de detecção / proteção de intrusão)
Ataques como esse geralmente são mitigados por um bom conjunto de regras (semelhante ao antivírus).
Ele filtra o tráfego em tempo real e verifica as correspondências; finalmente, se correspondido, realiza a operação especificada (por exemplo, DROP)
Uma sugestão de software seria snort, que é open source e mantém um conjunto abrangente de regras.
Lembre-se de outras tecnologias, como limitação de taxa e varredura de registro, para capturar o jogo sujo. No entanto prevenção é melhor que reação, eu iria com Snort:)
Espero que isso ajude