Existe um site excelente para novatos sobre o Kernel do Linux, chamado kernelnewbies .
Você encontrará nele um excelente tutorial explicando como você pode obter a fonte, configurar e compilar o Kernel Linux.
Mas, cuidado, não é uma tarefa fácil. Existem muitas opções para analisar e entender antes de começar a construir uma decente. Pode ser um pouco mais complicado no Mac OS X, já que você não terá nenhum oldconfig pronto para ser recompilado.
BTW, há também um livro interessante feito por Greg Kroah-Hartman.