Sim, o driver backported precisa ser recompilado para cada atualização sucessiva do kernel. Após a reinicialização no kernel mais recente, o processo é, aproximadamente:
cd ~/Desktop/backports-3.12-whatever
make clean
make defconfig-rtlwifi <--or whichever driver suite you are building
make
sudo make install
sudo modprobe rtlwhichever
Claro, ajuste o processo para suas circunstâncias exatas. Aqui está um post descrevendo o processo: Ubuntu 12.04 Placa Realtek RTL8188E Sem Fio Não Detectado