O LD_LIBRARY_PATH pode ser usado para substituir as coisas. Assim, quando qualquer executável (por exemplo, ls) precisar de algo comum como libc, ele terá que verificar todas as pastas do env. variável antes de poder olhar nos locais "normais". Com ldconfig, acredito que o sistema é capaz de armazenar em cache a lista de bibliotecas para pesquisa rápida. Com a variável env, tem que redigitalizar toda vez (o var pode mudar).
Parece que o total geral de arquivos a serem verificados talvez seja bastante grande. Tente cronometrar um ls de todos os diretórios combinados.