Isso é muito fácil de fazer com o apache, por exemplo, para especificar que nada vindo do seu servidor deve ser sempre armazenado em cache, tente isso
<Location / >
ExpiresActive On
ExpiresDefault "now"
</Location>
Você provavelmente não quer fazer isso exatamente, então veja a documentação para mod_expires e personalize isso para suas necessidades.
Além disso, lembre-se de que, nesse cenário, um navegador e um proxy são tratados da mesma maneira. Ao enviar cabeçalhos de expiração com suas respostas que desativam o cache, você estará adicionando carga e custo significantes à execução do seu site, sem mencionar o abrandamento do acesso de seus visitantes.