Desempenho? Não a menos que a unidade estivesse cheia ou houvesse realmente uma fragmentação muito ruim (e se estiver atingindo muito a unidade, você provavelmente precisará de mais memória ou terá outro problema)
A única maneira de as bibliotecas "prejudicarem" qualquer coisa é se essas bibliotecas misturam outras bibliotecas do sistema ou se elas são infectadas por cavalos de Tróia. Se você tiver backups , não precisará se preocupar.
O desempenho em termos de coisas no disco rígido não deve afetar nada. Somente executar aplicativos usando recursos (memória, processador, E / S de rede, etc.) afetaria o desempenho ... exceto ao fazer backups. Usar mais espaço em disco significa que pode levar mais tempo para fazer backups.