A melhor resposta que eu posso pensar e vai exigir alguma entrada de você para trabalhar com os dados é nethogs!
Instalar nethogs (devem estar em repo)
E funcionará assim:
nethogs
nethogs eth1
nethogs [option] eth0 eth1
nethogs [option] eth0 eth1 ppp0
sudo /usr/sbin/nethogs eth0
Você vai acabar com algo assim:
Comisso,vocêpoderáidentificaroprocIDqueestáusandoomaioruploadedownload.
Vocêtambémpodeidentificartodasasnicsevê-laslistadascomoumacomocontroladorderededeidentificação:
O próximo passo é onde eu não tenho certeza ... Você pode precisar criar algum analisador das informações, configurar um cron e alimentá-lo no seu analisador de tráfego anormal.
Desculpe, não é uma solução completa, mas é a única idéia que tenho agora!