Se os telefones simplesmente passarem pela rede como uma ponte, isso deve funcionar. O switch ainda deve obedientemente manter as tabelas ARP e alternar o tráfego, independentemente do roteamento IP.
No entanto, eu não sei as razões para a sua necessidade de IPs públicos, mas eu tentaria muito difícil obter uma configuração de firewall / roteador na frente desse T1!