Eu também achei isso confuso quando me mudei para o Linux e com o tempo, isso é o que eu aprendi.
Regra # 1: Sempre que possível, sempre instale usando o gerenciador de pacotes da distro (yum para a maioria das distribuições baseadas em RPM e apt-get para a maioria das distribuições baseadas em Debian. O Slackware e o Gentoo têm seus próprios). Quando você usa o gerenciador de pacotes, seus pacotes serão instalados onde eles pertencem e onde outros aplicativos esperam encontrá-los. Mover binários de seu destino de gerenciador de pacotes causará problemas mais tarde, então deixe-os onde estão.
Regras # 2: Se você não consegue encontrar um pacote que você precisa no seu gerenciador de pacotes, você pode ter que compilar e instalar a partir do código-fonte. Esta é a situação em que as coisas podem ficar confusas. O aplicativo que você está compilando normalmente vem com um arquivo make que informa onde instalar os arquivos quando o make install for chamado. Em geral, é quando você encontrará arquivos instalados em / opt ou / usr / local. Esses são locais comuns para aplicativos instalados a partir da origem. Mais especificamente, parece-me que normalmente encontro binários de código fechado em / opt e binários de código aberto acabam em / usr / local
Em relação ao symlinking que você está vendo; você está certo. Na maioria dos casos, quando você vê uma situação de link simbólico como você declarou, isso foi feito pelo processo de instalação para facilitar as atualizações / compatibilidade com versões anteriores / ou algum outro problema conhecido.
Com relação aos dados - se você estiver falando sobre arquivos conf, você geralmente os encontrará no diretório / etc. Os vários diretórios lib fornecem bibliotecas que são usadas por outros aplicativos no sistema.
O projeto LSB (Linux Standards Base) tem tentado padronizar coisas como esta e locais de script de inicialização por anos. Ele fez alguns progressos, mas não tanto quanto eles gostariam principalmente porque as distribuições mais antigas estão entrincheiradas em como eles fazem negócios e não vêem o valor em mudar para algum outro método.
Espero que ajude.