Não, a compilação do kernel não leva "algumas horas". Linus Torvalds disse que ele levou 12 minutos nos velhos tempos, e muito menos nos dias de hoje. É claro que depende se você está compilando um kernel com apenas os drivers necessários para o seu hardware, ou um kernel de distribuição com todos os drivers que as pessoas podem precisar - mas mesmo para um kernel de distribuição em uma máquina um pouco antiga uma hora para fazer uma compilação completa.
Além disso, se você alterar um arquivo do kernel, não precisará fazer uma compilação completa. Basta executar make (e make modules se houver módulos que você precise recompilar) e somente o arquivo alterado (e os arquivos que dependem dele, se for um arquivo de cabeçalho) será recompilado .