Eu tenho exatamente o mesmo problema e, infelizmente, ninguém além de você e eu parecemos reconhecer que esse é o problema por trás dos problemas de "conexão lenta com fio" em todos os blogs.
Eu não encontrei uma solução além de conectá-lo a um comutador de 100 Mb em vez de um comutador de gigabit e funcionando a 100 full duplex.
Você pode adicionar a /etc/network/interfaces :
pre-up /sbin/ethtool -s eth0 speed 100 duplex full autoneg off
EDITAR: Encontrou uma solução !!!
Você pode baixar e instalar um driver atualizado em este link
Estou agora (finalmente) em gigabit.