Os servidores VoIP (particularmente o Asterisk) são bastante notórios por terem falhas de segurança - o grau de risco que eles representam depender do que eles têm acesso ( Esse cara fez um hobby de encontrar problemas com servidores VoIP, com o Asterisk tomando a maior parte do calor). Assim, ter uma rede VoIP separada (ou pelo menos uma vLAN separada) com acesso limitado ao resto da rede da empresa é praticamente a melhor prática, e seria minha recomendação se eu projetasse a rede.
O hardware separado tem outras vantagens (como você observou, uma vantagem pode ser proteger o tráfego de voz da saturação da rede), embora eu não considere isso crítico para a maioria dos ambientes - as vLANs são suficientes na maioria dos casos.