Em vez de Untangle, sugiro usar um SO de classe de servidor com todos os recursos, como FreeBSD ou OpenBSD (ou Linux, mas eu prefiro o BSD para firewalls). Você vai acabar com um sistema muito mais configurável e poderoso que você pode usar em um pitada como um servidor de arquivos / NAS ou servidor web simples, ou HTPC, ou qualquer outra coisa. Mas o Untangle não parece uma opção ruim, se você decidir que prefere.
O seu modem a cabo certamente não usará Gigabit Ethernet; uma conexão Fast Ethernet de 100Mbps regular servirá muito bem. É claro que, se você está comprando um novo NIC separado, também pode comprar gigabits de qualquer maneira, mas se tiver um NIC Fast Ethernet embutido ou por aí, não há motivo para não usá-lo. Você irá querer gigabit para o lado da LAN, se você pretende usar o servidor como um servidor de arquivos ou NAS ou fornecer qualquer tipo de serviço intensivo de largura de banda para a LAN.
Usar seu roteador Wi-Fi existente pode ser um pouco problemático; nem todos jogam bem com os outros. Se você estiver usando o BSD, uma coisa que você pode fazer é comprar uma placa wireless PCI ou PCIe e instalá-la no servidor, depois configurá-la para ser executada como um AP. Sua caixa BSD se torna o roteador sem fio. Se você gosta do seu roteador sem fio atual, basta conectá-lo à sua LAN e agir como uma ponte burra (ou seja, não usar nenhum recurso de roteamento). Normalmente, isso não requer nenhuma configuração extra, apenas não usando a porta "WLAN" ou "uplink" no roteador.
Quanto ao lado da LAN, seu switch gigabit não terá uma porta "uplink"; se isso acontecer, não é um interruptor puro. Todas as portas no switch devem ser equivalentes. Veja como eu ligaria tudo:
Cable/DSL modem <-> Fast Ethernet NIC on server
Any gigabit port on switch <-> Gigabit NIC on server
Any gigabit port on switch <-> Another computer on the LAN
Se você usa um roteador sem fio separado:
Any ethernet port on switch <-> Any non-uplink ethernet port on wireless router
Se você usa uma placa sem fio no servidor no modo AP, basta configurá-la corretamente e não precisa de nenhum hardware adicional. Se você configurar as coisas corretamente, qualquer computador na rede local poderá se comunicar com qualquer computador na rede sem fio.
Se você estiver interessado em mais detalhes sobre a opção Linux / BSD, apenas mencione ou faça outra pergunta e eu ou outra pessoa ficaremos felizes em explicar.
EDIT : percebi que esqueci de responder à sua pergunta sobre desempenho. Eu não posso falar de Untangle, mas uma instalação baseada em BSD será capaz de lidar com uma LAN doméstica típica (~ 5 computadores por trás) em praticamente qualquer coisa: meu gateway / servidor costumava ser uma caixa antiga do Pentium II ao redor, antes de eu mudar para o século 21 no ano passado. Um firewall / servidor pessoal dedicado pode ser executado em praticamente qualquer hardware antigo que você possa utilizar, ou nos servidores modernos mais baratos que você pode comprar.