O firewall não pode controlar quais URLs HTTPS o cliente está tentando acessar, porque o URL é criptografado. O firewall só pode controlar a quais sites o cliente está se conectando, usando endereços IP, mas isso não ajuda se as versões HTTP e HTTPS do site estiverem no mesmo URL (e mesmo que não estejam, você teria para manter uma lista enorme de endereços IP).
A única forma realista de bloquear o HTTPS é bloqueá-lo completamente. Insista para que todas as conexões sejam HTTP válidas (ou seja, o cliente inicia enviando uma linha HTTP
e assim por diante). Isso não pode ser feito apenas com IPtables, você precisa de um proxy real com reconhecimento de protocolo, como o Squid. (Eu não sei o que Untangle Lite é capaz de fazer.)
Você pode bloquear a maioria do tráfego HTTPS bloqueando o tráfego de saída para a porta 443, já que quase todos os servidores HTTPS estão nessa porta. Ou, seguindo uma abordagem de lista de permissões, permita somente o tráfego de saída para a porta 80 (a porta HTTP normal).
Uma abordagem diferente seria fazer proxy de todas as conexões HTTP e HTTPS. Então você pode combinar por URLs. Isso requer a realização de um ataque man-in-the-middle nos clientes. Você pode fazer isso se implantar sua própria autoridade de certificação em todas as máquinas clientes e registrá-la como uma raiz de confiança. Isso pode ser considerado antiético.
Não importa o que você faça, determinados usuários configurarão um proxy fora de seu ambiente e executarão IP por HTTP ou algo assim.
Você parece estar tentando consertar um problema social com meios técnicos, o que quase nunca funciona, ou estar fazendo o seu melhor para implementar um requisito bobo da administração (nesse caso, eu iria com o bloqueio da porta 443, talvez apenas para determinados IPs, o que permitiria relatar que você fez o seu trabalho, não importa o quanto seja inútil).