Configurar um kernel mínimo para tempos de inicialização rápidos não é tão fácil, e é preciso realmente saber o que se quer / precisa.
Uma fonte muito boa de conhecimento nesta área é o wiki do gentoo, que tem para muitas áreas descrições de configuração do kernel. Além disso, o wiki do Arch Linux contém muitas informações nessa área. Além disso, a documentação do kernel é muito útil de várias maneiras.
Basicamente, o que precisa ser feito começa selecionando as opções adequadas de cpu / arquitetura, pilhas de rede a serem usadas, drivers de hardware para os dispositivos, várias configurações relacionadas a pilha gráfica e centenas / milhares de outras opções.
Você precisará de várias tentativas para encontrar uma configuração ideal, adequada para todos os seus requisitos e dispositivos de hardware. O processo é muito interessante e aprendemos muito sobre o kernel, seus principais componentes e a quantidade impressionante de opções de configuração.
Espere que, se você quiser os tempos de inicialização mais rápidos possíveis, esse processo levará dias ou meses. Dependendo do caso de uso (e se arquivos de firmware binários forem necessários), deve ser possível construir uma imagem do kernel de aprox. 2 mb de tamanho, com todos os componentes necessários, sem usar o initrd.
Se você quiser acelerar ainda mais, dê uma olhada no projeto coreboot. Com o hardware certo, deve ser possível encaixar um kernel previamente otimizado em flash, inicializando diretamente sem o bootloader. Nos tempos da rotação de discos rígidos, essa configuração era mais rápida do que o tempo de rotação do disco rígido, levando a situações em que a inicialização falharia, pois o disco não estava pronto para ser lido.