Bem-vindo ao mundo maravilhoso da negação de serviço (distribuída) ou do DDoS. Resposta curta: fale com o seu ISP e peça-lhe para ajudá-lo a filtrar um DoS. Resposta mais longa:
Como parece que sua rede está ficando saturada, não há muito o que fazer com sua rede ou sistemas para se defender contra esses ataques - seu objetivo é inundar você com tanto tráfego que sua largura de banda de downstream está entupida lixo. Para corrigir isso, você precisará envolver seu ISP. Se você tiver sorte, os ataques são simples ataques DoS com um endereço de origem identificável e não falsificado. Seu ISP pode aplicar filtros a estes facilmente. Se você não tiver sorte, os ataques estão usando endereços de origem falsificados e / ou distribuídos entre uma botnet, tornando muito mais difícil filtrar (já que há um grande número de fontes). Ainda existem coisas que o seu ISP provavelmente pode fazer, mas elas ficam um pouco mais complicadas. Para se defender de verdade, é necessário analisar os serviços de mitigação de DDoS, como os oferecidos pela Arbor Networks, VeriSign, etc. Infelizmente, eles tendem a ser bem caros. Outra opção pode ser a implantação em uma rede de distribuição de conteúdo como a Akamai (no final caro) ou a Cloudflare (no final, embora o Cloudflare não seja um CDN completo).
Quanto a descobrir que tipo de ataque é, provavelmente você pode obter uma pista do próprio tráfego. Execute o tcpdump ou equivalente e veja que tipo de pacotes você está recebendo. Pode ser qualquer coisa, desde ICMP (por exemplo, inundações de ping) a UDP (por exemplo, um ataque de amplificação de DNS) até TCP (inundação síncrona). Com base no tráfego, eu apostaria em um simples ataque de inundação sem estado (ou seja, ICMP ou UDP). Isso é realmente uma sorte, já que um ataque de nível mais alto, por exemplo, um bando de zumbis de uma rede de bots inundando solicitações HTTP para a porta 80 ou 443, é muito mais difícil de lidar.