Se você está construindo a partir do tarbal, você normalmente faria algo como
$ ./configure --prefix=$HOME
que após make
terminar e você make install
colocará todos os bits em subdiretórios seu diretório home .
Depois, talvez seja necessário adicionar $HOME/bin
à sua variável de ambiente PATH
e $HOME/lib
ao seu LD_LIBRARY_PATH
e fazer alguns outros ajustes como esse.