Não há regra, mas geralmente /usr/local (ou seja, /usr/local/bin para binários).
Você também pode especificar onde deseja instalar com a opção --prefix . Por exemplo
./configure --prefix /home/myuser
instalará o software no seu diretório pessoal.