É uma questão simples de taxa de transferência:
Se 100 sites exigirem 100 vezes mais largura de banda, então, sim, as coisas ficarão lentas até que você atualize seu equipamento e / ou sua linha.
Equipamento significa aqui: número de computadores servidores físicos e seus componentes, discos rígidos, placas de rede, roteador.