Eu suspeito de problemas de drivers ou incompatibilidade de duplex. Tente atualizar os drivers e verifique se o duplex em cada extremidade é o mesmo. Verifique também as estatísticas de ethernet do switch (se você tiver erros, colisões, etc ...).
O que significa que perde a conectividade de rede ? Não é alcançável, mas a interface está ativa? É alcançável, mas tem muita perda de pacotes?