O antivírus é a primeira coisa que eu culpo, e note que inclui somente antivírus e não apenas aqueles que incluem um firewall. Se o uso da CPU do AV estiver acima do normal, você sabe que é o culpado.
Caso contrário, você já tentou jumbo frames? Qual dispositivo / driver é esse?