Se você quiser ter certeza, todas as máquinas usam seu proxy e não podem se conectar diretamente, ele precisa ter duas interfaces de rede. Um se conecta ao roteador, o outro a um comutador ao qual todos os clientes se conectam.
A interface para o roteador pode ser configurada para obter o ip automaticamente.
A outra interface que você pode definir como 192.168.66.1 sub-rede 255.255.255.0 por exemplo. Os clientes devem ter ips como 192.168.66.2-254, sub-rede 255.255.255.0 sem nenhum gateway padrão.
Ou você configura um dhcp na segunda interface.
Então você configura um proxy nesta caixa (apt-get install squid), escutando na porta 3389 por exemplo (padrão). Todos os cliens devem ser configurados para usar este proxy agora.
Uma solução mais fácil seria executar o ipcop, que inclui um proxy que pode ser configurado como um "proxy transparente" facilmente.