O .NET carrega dll's (ou assemblies como eles são mais conhecidos) preguiçosamente. Somente quando algo que precisa de uma montagem estiver prestes a ser executado, o conjunto será carregado.
Assim, se o assembly nunca é necessário, porque nada que o usa é chamado, ele nunca precisa ser carregado.