A interface entre o núcleo do kernel Linux e os drivers evolui muito rapidamente. É claro que você pode ter sorte e achar que as interfaces que o driver usa permaneceram na maior parte compatíveis, mas as chances são de que as interfaces mudaram muito e portar um driver ao longo de 4 anos de desenvolvimento do kernel seria difícil.
A menos que você precise suportar hardware mais novo e algum hardware antigo que os kernels recentes não suportam mais, compile um kernel 4.4. As interfaces entre o kernel e os aplicativos são extremamente estáveis. Você deve ser capaz de substituir qualquer kernel desde 2.0 ou mais por um kernel mais novo em qualquer sistema Linux.