Bibliotecas são apenas arquivos em seu disco, eles não fazem nada até que você inicie um programa que os use. Eles não serão automaticamente carregados em todos os programas (isso seria muito inútil). Portanto, apenas tê-los instalados não deve afetar mais nada.
No entanto, alguns gerenciadores de pacotes podem ficar mais lentos se você tiver muitos pacotes instalados. Eu acho que o apt-get do Debian costumava ficar mais lento com o tempo.
Além disso, às vezes os programas arrastam várias outras dependências - incluindo serviços, não apenas bibliotecas. (Por exemplo, os media players podem usar avahi-daemon ou algo assim.) Em algumas distribuições como o Debian, os serviços são iniciados por padrão quando instalados (mesmo que não sejam realmente necessários), o que pode tornar as coisas mais lentas.
(Mesmo que isso não torne o uso geral mais lento. Mesmo que lixo inútil leve tempo para iniciar , normalmente não use qualquer CPU quando estiver ocioso.)