Parece-me que uma varredura de portas pode ser melhor excluída do tráfego legítimo, procurando por uma verificação de programa > 5 portas em uma única máquina ou verificando a mesma porta em algum número de máquinas. O segundo é mais complicado porque há muitos aplicativos que legitimamente conversam com vários hosts na mesma porta em um curto período de tempo (como no problema do navegador da Web).
Eu também procuraria por um grande número de pacotes TCP RST ou erros ICMP (para verificações UDP, geralmente ICMP inacessível).
Embora não seja possível acessar o site no momento, psad (detector de ataque de varredura de porta) também pode oferecer um grau maior de flexibilidade, embora eu não tenha certeza de como ela reage a ser um detector no sistema de origem. Geralmente é executado nos hosts de destino para parar as varreduras.