Isso pode ser feito, mas não é exatamente fácil.
O Windows Server tem um serviço de proxy que, mais recentemente, foi chamado Fore Front Threat Management Gateway, mas acredito que tenha sido removido completamente do suporte.
De qualquer forma, existem duas maneiras de executar um 'verdadeiro' proxy web. Você pode configurar o proxy nesse computador reserva, conectar-se à rede em um IP estático e alterar todas as configurações de proxy do usuário nas opções da Internet para acessar esse hostname IP. A segunda maneira é usá-lo mais como um firewall, executando-o de forma semelhante a como eu faço no meu laboratório que é instalar duas placas de rede nesse computador reserva, executar um para o roteador e um para a rede (switch) alterar seu endereço de gateway DHCP para usar o endereço IP da placa de rede (switch). Dessa forma, todo o tráfego é executado através do computador reserva e da ferramenta de firewall gratuita que você tem, assim você pode controlar a largura de banda e os limites, etc.
Dê uma olhada no freeproxy para primeira opção e pfsense para segundo.