Você deve construir seu driver como módulo e configurar o kernel para poder forçar o descarregamento de módulos.
Então, quando você muda o driver, o kernel irá recompilar somente o driver (e você não precisa instalar o novo kernel, apenas para carregar o módulo das fontes do kernel.