Eu fiz mais algumas informações no Google e encontrei este post
Parece corrigir meu problema.
echo "options iwlagn 11n_disable=1" | sudo tee /etc/modprobe.d/iwlagn.conf
sudo modprobe -rf iwlagn
sudo modprobe -v iwlagn
sudo service network-manager restart
Ainda tenho meu roteador configurado para BG apenas. Vou tentar permitir N, mas está funcionando por enquanto.