Se você compilar o código-fonte do seu sistema, ele será mais rápido, pois ele será adaptado ao seu sistema.
Quando isso for dito, se você realmente quiser extrair todos os recursos possíveis do seu sistema, o Ubuntu pode não ser a melhor escolha, afinal. Um sistema como o gentoo é um sistema, onde você compila cada programa para o seu sistema, o que resulta em um sistema otimizado muito específico.
Se você quiser saber mais, dê uma olhada no GCC e compile bandeiras