Existem vários pontos que podem estar causando problemas.
Eu começaria verificando drivers atualizados da Intel. Se isso não resolver, tente outro NIC. Se isso não funcionar, tente outro switch (o problema pode estar fora do servidor. Esse é o único sistema em que você está vendo o problema?).
Se nada disso funcionar, é possível que o serviço do comutador virual esteja sendo reconfigurado (por qualquer motivo). Algum erro nos eventos?