É improvável que realmente cause qualquer impacto significativo, a menos que você fale dezenas de milhares de vhosts.
As maiores coisas com as quais você vai se preocupar são a eficiência do código para renderizar rapidamente, o número de conexões simultâneas, o manuseio e a eficiência de qualquer banco de dados na parte de trás.
Tendo lidado com servidores com mais de 5.000 vhosts, o problema era literalmente gerenciar o próprio conteúdo vhosts, em vez do número puro de vhosts sendo executado.