PFSense
Dependendo de suas necessidades, mas minha primeira escolha provavelmente seria PFSense.
Você pode ler a lista de recursos aqui:
IPCop
Minha segunda escolha seria IPCop. Eu usei-o em muitas instalações e sempre provou ser sólido para mim. Fácil de configurar e configurar há bastante tempo com uma comunidade grande o suficiente para que eu possa encontrar um plugin para praticamente tudo que eu preciso.
Você pode encontrar algumas capturas de tela do produto base do IPCop aqui:
Tenha em mente que há muitos add-ons ... simples de instalar ... que adicionam funcionalidades muito boas. Mais uma vez, dependendo das suas necessidades, recomendo dar uma olhada no URLFilter.
História paralela:
Não que este seja SEU problema, mas eu instalei ambos os itens acima em ambientes de trabalho onde havia um grande problema com funcionários e sites de redes sociais. Ao bloquear cerca de 5-6 URLs principais durante o horário de trabalho e abri-lo durante a hora do almoço, houve um aumento DRAMÁTICO na produtividade.
Você pode ler mais sobre um exemplo no meu post aqui: