Em geral, parece que você está procurando por um proxy transparente. Não está totalmente claro qual roteador você está usando, mas vou assumir que é algum tipo de caixa Linux. Se assim for, o iptables pode ser configurado para redirecionar determinado tráfego (ou seja, tráfego da web) para um servidor de squid sem alterar qualquer configuração do cliente. Veja um exemplo que pode ser útil. Procurar por "proxy transparente" provavelmente fornecerá algumas pistas adicionais. Se você estiver usando um roteador de hardware adequado, talvez também queira consultar o WCCP como um mecanismo para redirecionar o tráfego para e de servidores proxy.