Se você não executar "make clean" (ou similar) após a compilação, compile apenas as diferenças quando executar "make" novamente.
Exemplo:
# make menuconfig
# make
# make modules_install
# make install
"Ah, esqueci o driver ethernet":
# make menuconfig (change the old config)
# make (now, you're only compiling the changes)
# make modules_install
# make install
Se você deletou o diretório com o kernel, sim, você precisará compilar tudo novamente.