A comutação de pacotes na engrenagem de rede sempre processará as informações da vLAN, se forem suportadas. Então, ter vLANs ou não, não faz diferença na velocidade de comutação.
Se o pacote tiver que ser roteado por um roteador L3, pode haver uma penalidade incorrida. Da mesma forma, se o pacote tiver que ser encaminhado para um roteador, você terá ainda mais penalidade para esse processo.
Se o pacote for enviado com a tag, soa como esse para você, já que você tem todos os seus ports truncados, então você será atingido com 32-bits de cabeçalho extra 802.1q (QinQ dobra isso).
Isso tudo contribui para quase nada no grande esquema de redes modernas. Eu não acredito que alguém iria notar a diferença a menos que eles estão implementando um HPC ou similar, e nesse ponto eles estariam melhor implementando algum tipo de interconexão de latência ultra baixa ao invés de tentar sintonizar Ethernet.