Parece que você precisa de um manual básico sobre como o roteamento IP funciona.
Sim, cada ramo deve estar na sua própria sub-rede. Sem isso, você teria domínios de broadcast L2 abrangendo sua WAN, o que poderia ser interessante.
Os telefones IP se conectam de volta a um softswitch central na Filial 1? Nesse caso, desde que seu roteiro esteja configurado corretamente (rotas estáticas ou dinâmicas em todos os locais para todas as sub-redes necessárias), não há nada que o impeça de funcionar bem. Além de garantir que o roteamento esteja configurado corretamente, você precisará garantir que as ACLs do firewall permitam o tráfego necessário nas duas direções.
A única coisa que pode dificultar as coisas para o VoIP em uma rede segmentada é se NAT estiver acontecendo. O SIP (e vários outros protocolos VoIP) normalmente não são compatíveis com NAT e geralmente exigem alguns ajustes na configuração do telefone IP para que ele funcione corretamente. De sua descrição, no entanto, duvido que NAT entraria em jogo aqui.