Alguns roteadores permitem que você especifique a quantidade de largura de banda que determinados clientes podem usar. A maioria dos roteadores de consumo só permite limitar a velocidade da largura de banda e não a quantidade de dados que o cliente pode consumir.
Portanto, há algumas maneiras de fazer isso, ou você sai e pesquisa quais roteadores permitirão que você faça isso. Ou você pode configurar um servidor de rede para fazer isso por você, o que, na minha opinião, seria mais fácil de fazer. O servidor pode monitorar o tráfego e limitar seus clientes com base no uso da largura de banda.
Se você escolher a opção de servidor, precisará ter um comutador para permitir várias conexões ao servidor ou usar o roteador, com o firewall e o DHCP desativados, e fazer com que o servidor assuma o controle do servidor DHCP. firewall e servidor DNS e seu roteador pode atuar como um switch.
O servidor pode ser windows, no entanto, não estou familiarizado com servidores windows ou usando janelas para monitorar o tráfego. Então eu só posso te dizer como fazer isso com um servidor linux. A distribuição Linux não importa, desde que suporte iptables que a maioria das distros faz. Eu recomendo o servidor Ubuntu ou desktop, ou vai funcionar e é mais amigável do que a maioria das outras distribuições linux.
Você usaria algo como abaixo em uma janela de terminal.
iptables -A INPUT -p tcp -s 192.168.1.10 -m quota --quota 5368709120 -j ACCEPT
iptables -A INPUT -p udp -s 192.168.1.10 -m quota --quota 5368709120 -j ACCEPT
o que isto faz, é definir quem está usando ip 192.168.1.10 para ter uma quota de 5gb e só aceita pacotes se estiver abaixo dessa cota de protocolos udp ou tcp. Você terá que fazer isso com todos os endereços IP que você deseja limitar.
iptables -A INPUT -p tcp -j CLASSIFY --set-class 1:12
isso define pacotes de sobrecotas para uma classe tc de sua escolha. TC é outro programa no linux que você pode usar para limitar várias outras coisas com o tráfego também. Página do TC Man