Você está correto no que diz.
Você precisa criar uma nova vlan para VOIP nos dois sites. O VOIP lan em cada site não deve ser o mesmo vlan ou a mesma sub-rede. Eles devem ser roteados entre sites. Você precisará de uma interface extra no seu roteador que esteja na sub-rede VOIP (pode ser uma interface marcada com dot1q se o seu roteador for capaz disso). As novas sub-redes de VOIP também precisarão ser adicionadas aos domínios de criptografia de seus respectivos roteadores.
Eu nunca usei um roteador Wys da Linksys, mas meu instinto é que ele não será capaz de fazer QOS. Eu estou perfeitamente disposto a ser corrigido lá, mas, como regra geral, eu acho que o Linksys está faltando quando se trata de recursos mais sofisticados - provavelmente para que eles possam vender mais equipamentos da Cisco. Mas eu divago.
O fato de seu link de site para site usar um túnel IPSEC sugere que eles estejam vinculados pela Internet. Sendo assim, você terá que aplicar o QOS ao seu tráfego de Internet e ao seu tráfego de dados para priorizar o VOIP.