A resposta simples é: depende do seu hardware e requisitos.
A maioria das distribuições fornece o kernel que já está compilado. Esses kernels são criados para que funcionem no maior número de máquinas possível - portanto, eles contêm muitas coisas que não são realmente necessárias para você.
O kernel contém muitas coisas. Você quer compilar certos drivers - infelizmente eu não posso dizer quais drivers - eles dependem do seu hardware. Você pode pular o resto - você não precisa dos drivers que você não vai usar de qualquer maneira.
O Kernel também suporta alguns sistemas de arquivos - se você sabe que não usará certos sistemas de arquivos, você pode não compilar estes drivers também - você sempre pode recompilar o kernel quando precisar usar algum sistema de arquivos.
Então, digamos que você é um usuário casual do Linux. O que você deve fazer?
Meu conselho seria: deixar o kernel como está . Normalmente, o kernel é bom, e você não vai ganhar nada perceptível em ajustes. Se você é inexperiente, isso também pode ficar confuso se você conseguir algo errado, então apenas para estar no lado seguro - deixe ser.
O mesmo acontece se você for "hacker" ou "programador". Você não precisa ajustar o seu kernel para ser melhor programador / tornar a programação mais fácil - afinal de contas, os programas devem rodar em um kernel que não é ajustado (ou qual seria o ponto do programa?). A configuração do kernel é principalmente para entusiastas ou pessoas que precisam fazer isso (por exemplo, kernel para dispositivos incorporados). Funtoo - novo projeto do criador do Gentoo - também está usando o kernel pré-compilado.
Compilar o kernel sozinho, no entanto, pode ser uma experiência interessante. Você pode ver (um pouco) como funciona e o que está "sob o capô". Você pode garantir que algumas coisas que você deseja sejam ligadas / desligadas. Você pode aprender mais sobre o Linux.
Mas, honestamente, se você não precisa - você está bem com o seu kernel padrão. Se você quiser mais, você pode sempre procurar por kernels pré-compilados ou personalizados, e você estará bem.