Você não obterá algum aumento de desempenho se você recompilar as coisas em seu sistema, a menos que seu Ubuntu seja altamente personalizado, como usar muitas bibliotecas principais de outra fonte.
O truque é que todos os pacotes para o Ubuntu são construídos em um sistema Ubuntu real , que usa os mesmos pacotes no seu . Isso significa que o ambiente de construção é 100% o mesmo sistema, todas as bibliotecas têm ligações idênticas etc, apenas a configuração do usuário é diferente. Por causa disso, quando pacotes binários são construídos, muita otimização agressiva pode ser aplicada, e eles ainda serão válidos em seu sistema. Desta forma, o Ubuntu pode fornecer aos usuários pacotes cujo desempenho é maximizado.
A chance de que os pacotes que você compila por conta própria tenha um desempenho melhor é muito baixa. É até provável que eles estejam trabalhando mais devagar, porque muitas otimizações que não são ativadas por padrão são acionadas manualmente ao criar pacotes para repositórios do Ubuntu.
No que diz respeito à estabilidade, o raciocínio é o mesmo. Como os pacotes são construídos em um sistema Ubuntu, que tem exatamente as mesmas bibliotecas que você (desde que você os tenha obtido de repositórios), não haverá diferença em seu comportamento.
Concluindo, não espere lucros ao criar aplicativos por conta própria.
No entanto, se você usar bibliotecas modificadas personalizadas ou pacotes principais, que não são originários de repositórios do Ubuntu, pode ser benéfico reconstruir aplicativos que os utilizam. No entanto, muito provavelmente, a diferença será tão pequena que será difícil notar, por isso pode não valer a pena.