Se os aplicativos forem usados por todos os usuários do sistema, a árvore /usr/local é o local ideal; nenhum pacote deve colocar arquivos lá (é para o software que você está compilando), mas o diretório /usr/local/lib está no caminho padrão para o carregador dinamyc. (veja /etc/ld.so.conf.d/libc.conf ).
Eu normalmente até mesmo movo a árvore /usr/local sob /home (apenas movendo o diretório /usr/local para /home/local e depois o symlinking /usr/local -> /home/local ) para que ela sobreviva a uma reinstalação completa (1).
Se os aplicativos são apenas para o seu usuário, eu normalmente crio $HOME/lib , $HOME/include e depois jogo com variáveis de ambiente ou sinalizadores de compilador para apontar para eles.
Notas de Rodapé
(1) Eu normalmente instalo / e /home em partições separadas, mas essa é uma escolha muito pessoal.