Você acha / precisa acompanhar melhor as mudanças de hardware do que os mantenedores do Ubuntu? Com relação ao hardware que cria mais problemas, ou seja, dispositivos onde o hardware deve ser submetido a engenharia reversa ou drivers proprietários devem ser usados, mais do que atualizações do kernel serão necessárias - e podem, nesses casos, fazer com que seus dispositivos parem de funcionar. p>
Agora, posso entender o desenvolvimento do seu próprio kernel por motivos educacionais ou de segurança. Se tais necessidades superarem tudo o mais, faça-o.
Honestamente, a menos que você tenha uma necessidade específica para isso, você não deve se desviar do que é uma configuração testada e conhecida para funcionar, o que inclui essa configuração específica do kernel e o software que a acompanha.