Zentyal, anteriormente eBox parece uma boa opção, é um sistema de servidor de pequenas empresas com firewall de gateway e capacidades de modelagem de tráfego. O que eu não tenho certeza é se ele pode denunciar usuários ofensivos, mas você pode testá-lo por si mesmo.
A página inicial está aqui:
A documentação de configuração de rede está aqui: link
Existe um tutorial mais antigo sobre o HowtoForge for eBox que ainda pode ser relevante. É encontrado aqui:
observe que, embora o eBox possa ser instalado em um servidor Ubuntu LTS existente, é recomendável que você use o CD de instalação fornecido pela Zentyal.