O ldconfig é completamente dependente do arquivo de configuração especificado que você colocou em /etc/ld.so.conf.d ou especificado no arquivo /etc/ld.so.conf.
Se você excluir algumas bibliotecas dinâmicas que já foram armazenadas em cache no ldconfig, e os links de símbolos que foram criados pelo ldconfig serão excluídos automaticamente se você executou o ldconfig após a sua exclusão.
Mas, se você excluir o arquivo de configuração especificado antes de executar o comando ldconfig, os links de símbolo quebrados não poderão ser excluídos.