Depende realmente do programa e das diferenças entre as versões e de como funciona o processo de instalação. Se, por exemplo, você configurá-lo com configurações diferentes, o que resultou em diferentes conjuntos de módulos sendo construídos em um programa que suporta módulos dinâmicos externos (Apache, heartbeat, ProFTPd, etc ...), podem existir módulos nos diretórios que são construídos contra a versão antiga.
Os arquivos de configuração também podem ser sobrescritos ou novos arquivos de configuração não gravados, dependendo do processo de instalação. Isso tem me mordido com o postfix, onde novos serviços são necessários no master.cf, mas o Postfix fornece uma ferramenta para corrigir essas instâncias.
Pessoalmente, nos casos raros em que instalo software manualmente (em vez de usar pacotes de distribuição), tento incluí-los em um diretório nomeado com base na versão e, em seguida, crie um link simbólico do nome genérico para o nome específico . Dessa forma, posso instalar a nova versão em um diretório completamente novo. Caso contrário, é provavelmente uma boa ideia mover o diretório antigo para fora do caminho, por exemplo, renomeando-o para ".old" e, em seguida, faça a reinstalação.