As opções -march=native
e -mtune=native
garantirão que os binários gerados usem melhor os conjuntos de recursos e o agendamento de processadores disponíveis. Qualquer ganho no desempenho se relacionará com quanto do código do aplicativo pode ser otimizado usando os conjuntos de recursos adicionais do processador. (YMMV) Bibliotecas e binários otimizados devem ser executados mais rapidamente em comparação com binários genéricos, mas quanto é difícil quantificar sem testar. Assim, a resposta curta é sim, pode haver um ganho de desempenho recompilando seus aplicativos com otimizações de CPU, no entanto, manter suas próprias compilações otimizadas e acompanhar atualizações de segurança, etc., provavelmente será um pesadelo.
Mais informações sobre GCC 4.4.4 Opções de arquitetura i386 e amd64 aqui.