Quando você instala a partir dos repositórios oficiais, ele é instalado no site apt-get installs. Assim, em todo o lugar e geralmente você não consegue escolher o local onde instalá-lo. Se o software tiver um componente 'usuário', ele será instalado dentro do seu /home/$USER/ , em um diretório normal ou oculto.
Se você instalar a partir do código-fonte, você pode escolher um diretório, extraindo o download ou será solicitado pelo instalador. A regra geral é: instalar em /opt/ .
E um método seria instalar em /opt/{software-name-with-version-number}/ . Dessa forma, você pode instalar várias versões próximas umas das outras. E você pode então symlimk para /opt/{software}/ e colocar isso dentro de seu PATH ou criar um link simbólico dentro de um diretório em seu PATH para aquele executável. Se você quiser mudar de versão, mude o link simbólico para essa versão.