Para a quantidade de dados que você vai usar, eu recomendo comprar algo como Cisco ASA 5520 . Eu usei estes no passado, e eles fazem um firewall muito capaz. Eles também podem fornecer serviços VPN se você desejar. A especificação diz que estas podem lidar com sessões de até 450Mbit e 280k.
Se você acabar optando por um firewall baseado em software (o que é um pouco inapropriado, já que todos os firewalls são baseados em software. Eu divago), eu recomendo que você escolha algo como PFsense . É baseado em BSD, portanto, o desempenho e a segurança da rede e do firewall são tão bons quanto este tipo de produto. Eu estremeço ao pensar em usar o ISA Server para rotear e inspecionar 400Mbits ...
Editar, após esclarecimento da questão
Nenhuma comparação genérica pode ser feita entre uma solução baseada em servidor e um appliance. Existem grandes diferenças na qualidade do hardware disponível para cada categoria. Você encontrará alguns "appliances" que são apenas hardwares comuns, placas de rede baratas, linux em execução com um bom frontend GUI. Coloque esse appliance em uma máquina de classe de servidor quad-core com muita RAM, algumas placas PCIe e PFsense, não há dúvidas de que o servidor andará por todo o "appliance". Por outro lado, existem alguns dispositivos que empregam ASICs de hardware reais para processamento de pacotes. Dependendo da carga do seu pacote e do tipo de filtragem que você deseja fazer, isso pode ser muito muito de alto desempenho.
No final, acho que você terá que experimentar algumas dessas soluções para ver quais funcionarão melhor para você ou, possivelmente, contatar os fornecedores diretamente sobre modelos específicos.
Como eu disse, tenho muita experiência com a plataforma ASA e o PFSense. Ambas as plataformas têm pontos strongs e fracos, mas no seu caso, eu imagino que ou seria capaz de lidar muito bem com as cargas que você espera.