O fato de você conseguir se conectar à sua rede sem fio significa que provavelmente não é apenas um problema de driver. Fiz uma pequena pesquisa na Internet e parece que outras pessoas tiveram problemas semelhantes.
Parece que a causa é o gerenciamento de energia do Ubuntu não fornecer energia suficiente ao seu adaptador sem fio, tornando o dispositivo mais fraco e, portanto, mais lento. Este tópico parece ser o ajuste certo para você e mostra como desativar o gerenciamento de energia que está causando o problema.
Parece que a solução é:
gksu gedit /etc/pm/power.d/wireless
Isto irá editar o arquivo de configuração do gerenciamento de energia. Coloque no arquivo:
#!/bin/sh
/sbin/iwconfig wlan0 power off
Então você só tem que fazer:
sudo chmod +x /etc/pm/power.d/wireless
e sua conexão sem fio deve voltar à força total!
Espero que isso ajude! :)