Se você está construindo a partir do tarbal, você normalmente faria algo como
$ ./configure --prefix=$HOME
que após make terminar e você make install colocará todos os bits em subdiretórios seu diretório home .
Depois, talvez seja necessário adicionar $HOME/bin à sua variável de ambiente PATH e $HOME/lib ao seu LD_LIBRARY_PATH e fazer alguns outros ajustes como esse.