Eu instalo todo o software construído localmente no diretório /home/user/.local . Este diretório basicamente copia a estrutura de diretórios de /usr como você pode ver:
> ls ~/.local
bin etc include jars lib lib64 libexec man share
Você pode apontar as ferramentas de compilação para definir esse diretório como o prefixo de instalação. Algumas ferramentas usam o valor da variável de ambiente PREFIX para determinar o local de instalação, por isso é uma boa ideia definir isso também, mas não confie nele.
Observe que você terá que definir o valor de vários ambientes como PATH , LD_LIBRARY_PATH , PKG_CONFIG_PATH , CLASSPATH de acordo.