Na verdade, o kernel fornecido pela sua distro é provavelmente o melhor para quase todo mundo. O que praticamente todas as distros estão fazendo é compilar todas as opções como módulos e carregar dinamicamente os módulos conforme forem necessários.
É um bom exercício, especialmente se você estiver interessado em aprender sobre o kernel, mas no que diz respeito à operação do dia a dia, os benefícios de desempenho em um desktop ou estação de trabalho serão mínimos ou inexistentes, mesmo com a melhor compilação otimizações de tempo para sua CPU específica.
Se você está fazendo isso pela educação mais do que pelo desempenho, sugiro que você tente compilar o maior número possível de maneiras diferentes. Compile tudo como módulos e, em seguida, compile tudo o que estiver estático (e veja como o kernel é enorme), então tente compilar um kernel mínimo mantendo todo o seu hardware funcionando. Tente alguns recursos experimentais (provavelmente em uma VM embora ;-)). Divirta-se com isso.