Sim, certamente será, mas o impacto disto será totalmente insignificante comparado a todas as outras coisas que o servidor tem que fazer e coisas como restrições de largura de banda etc. serão um gargalo muito mais cedo do que qualquer desaceleração por este roteamento vhost.