Você pode adicionar essa definição a /etc/ld.so.conf ou a um arquivo com seu próprio nome (PENSE que ela irá buscá-los alfabeticamente, você precisará experimentar), então /etc/ld.so.conf.d/a.conf deve ser escolhido primeiro. Certifique-se de executar /sbin/ldconfig após alterar ou adicionar os arquivos anteriores.
Como último recurso, você pode usar a variável LD_LIBRARY_PATH .
Há algumas informações decentes aqui e aqui sobre por que NÃO usar essa variável se puder ajudar.