Este é um problema muito complexo e em constante movimento. Um dos melhores métodos para encontrar esse tráfego é executar algum tipo de ids sistema em seu tráfego de saída para identificar quais sistemas podem estar fazendo coisas suspeitas. Isso permitirá que você reaja de maneira proativa. É preciso muita habilidade para ajustá-los para que eles retornem resultados relevantes, mas isso pode ser feito; embora seja muito parecido com um toupeira.
Se você não tiver acesso ao seu feed de tráfego externo diferente dos sistemas que os geram, existem produtos de terceiros para verificar sistemas e trafegar atividades suspeitas. Alguns dos principais fornecedores de AV têm um sistema que pode analisar até mesmo sistemas Linux para esse tipo de coisa. Ele é baseado em assinatura na maior parte, por isso serão ameaças conhecidas, mas isso é melhor que nada.