Eu já vi servidores com literalmente milhares de domínios rodando sem problemas. O desempenho não se degrada significativamente apenas pelo número de sites que você está executando.
É o número total de solicitações e a quantidade de CPU (e outros recursos, como largura de banda, E / S de disco, chamadas de banco de dados, etc.) exigida por solicitação que influenciam a capacidade de resposta do servidor.