Parte disso depende de como seus telefones obtêm as informações de configuração. Existem algumas maneiras diferentes por aí que isso pode funcionar, e isso pode afetar a resposta. Mas, provavelmente, o que você precisa fazer é configurar isso para que a porta do switch esteja sem tag na vlan que seus PCs usarão, e marcado para a vlan dos seus telefones usará. E, sim, isso significa que seus PCs e telefones devem ser conectados diretamente a um switch gerenciado. Um switch não gerenciado provavelmente removerá as tags vlan e interromperá sua configuração. No que diz respeito aos switches não gerenciados, tudo que você conecta a eles usa qualquer vlan que esteja sem tag na conexão de uplink do switch.
Se você quiser isolar seus servidores para sua própria vlan, também é necessário certificar-se de que o núcleo de sua rede tenha a capacidade de rotear o tráfego entre essas vlans.