resposta curta é não, os desenvolvedores são ótimos para otimizar o Ubuntu.
A resposta mais longa talvez seja, depende do seu hardware e vontade de compilar um kernel.
Seus drivers de hardware estão no kernel e você pode obter um melhor desempenho ao identificar seu hardware e determinar se há drivers melhores.
Veja o link , documentação do gentoo e A compilação de um kernel Linux torna o sistema operacional mais rápido?
Veja também o link
Você também pode se beneficiar de um gerenciador de janelas diferente, como o lubuntu.
Outro então que, sem mais informações, quem sabe?