Existem algumas distribuições prontas que atendem às suas necessidades. Meu favorito pessoal seria IPCop . Em essência, é uma distribuição Linux dedicada a converter seu sistema em um sofisticado e avançado firewall / roteador. Para ter uma ideia geral do que está envolvido, dê uma olhada na documentação (instalação e administração) no link acima.
Outro grande recurso é esta página da Wikipédia que lista (quase todas!?!) distribuições de firewall.