Eu já fui atingido por isso antes. Parece que algumas placas wireless não tocam bem com o 802.11n no * nix. A resposta (se isso é realmente o seu problema), como explicado aqui por exemplo, é desabilitar o 802.11n em conjunto:
echo "options iwlagn 11n_disable=1" | sudo tee /etc/modprobe.d/iwlagn.conf
sudo modprobe -rf iwlagn
sudo modprobe -v iwlagn
Para descobrir que tipo de placa sem fio você tem:
lspci | grep -i ethernet