Is there a way to configure a proxy tunnel (bearing in mind it would have to be available on Windows) which encrypts the traffic on one side and decrypts it on the other side, then none of this would be necessary
Sim - normalmente você usaria uma VPN para isso (como IKEv2, OpenVPN ou algum produto proprietário), pois criptografa o tráfego IP all e não se limita a apenas HTTP. É muito comum as pessoas em redes externas se conectarem à LAN de suas empresas usando o software VPN.
Existem também softwares que encapsulam conexões TCP individuais por TLS, como stunnel.
Eu sugeriria que exigir uma VPN ou outro transporte seguro é o melhor método, pois ela impõe a política do lado da empresa e evita acidentes, como o cliente perder / "esquecer" sua configuração.
Por outro lado, a VPN na rede da empresa apenas protege o tráfego entre você e o proxy, mas não faz nada para impor que os pedidos sejam encaminhados pelo proxy são seguros. (Eu não sei se sua política é apenas sobre conexões de entrada ou de saída.) Se isso é um requisito, ele deve ser implementado no próprio proxy.
Firefox/Chrome plugins
Para configuração manual, o Firefox suporta endereços de servidor proxy separados para HTTP e HTTPS ("SSL"); costumava ter extensões para configurar isso por site.
Muitos navegadores suportam um arquivo PAC , que pode ter lógica personalizada para seleção de proxy com base na URL.