Eu estava tendo o mesmo problema e isso estava me enlouquecendo, então eu instalei uma nova cópia do 12.04LTS e a mesma coisa estava acontecendo. o que foi estranho porque isso nunca aconteceu comigo antes. Em seguida, desativei o driver proprietário da placa sem fio, reiniciei e não diminuí mais a velocidade da rede. Tente isso, espero que seja a sua solução também.