Para adicionar o driver de volta, basta fazer
sudo modprobe iwlwifi
Isso carregará o driver novamente. Como já foi dito nos comentários, para desativar o Wi-Fi, você não precisa remover o driver. Um comando como
sudo ifconfig wlan0 down
será suficiente. Para wlan0, você terá que inserir o nome real do seu dispositivo WiFi. Para trazer o WiFi de volta, apenas faça
sudo ifconfig wlan0 up
Atenciosamente.