Se você estiver procurando por transparent proxy
setup (ou seja, sem precisar definir a configuração de proxy em todos os clientes), isso depende do seu roteador. Nem todo roteador de consumo permitiria isso. Dê uma olhada neste guia de proxy transparente do DD-WRT para ver o que está envolvido.