Apenas roube o arquivo de configuração para a versão do Ubuntu do kernel que você quer construir. Por exemplo, digamos que você queira compilar o kernel 4.0 por conta própria. Vá para o PPA do kernel , obtenha e instale o kernel. Então, a partir do seu local de construção, faça:
cp /boot/config-4.0.0-040000-lowlatency .config
no meu exemplo, usei o kernel lowlatency, você pode usar uma versão diferente. Agora, e isso é muito importante, o arquivo de configuração padrão do Ubuntu tem todas as informações de depuração ativadas. Esse kernel levará pelo menos o dobro do tempo para compilar e ser enorme. Antes de compilar, faça isso:
scripts/config --disable DEBUG_INFO
Eu compilo kernels várias vezes por semana e nunca rodei qualquer make make.