Objetos de Diretiva de Grupo vinculados a Sites do Active Directory (supondo que você esteja falando sobre um Site do AD) são processados em segundo lugar, logo após a Diretiva de Grupo Local. Isso significa que qualquer GPO em nível de domínio (ou menor, no nível da UO) os "substituirá" por padrão. Você pode marcar a configuração "Sem substituição" no GPO no nível do site, de forma que "substitua" o GPO no nível do domínio que possui a configuração indesejada.
Se os seus computadores não estiverem organizados no AD Sites e você estiver usando o termo "site" de maneira mais genérica, provavelmente estará preso criando um grupo de segurança que contenha os computadores afetados e negando a esses computadores o direito de aplique o GPO com as configurações indesejadas ou crie um GPO que "desfaça" a configuração indesejada e permita que apenas esses computadores apliquem o novo GPO.
Editar:
Obrigado pela edição.
Não há nenhum método para fazer o IE manter um cache apenas para sites específicos. As configurações de cache não estão vinculadas às "zonas de segurança", etc.