Em uma nota geral, a maneira mais simples de lidar com problemas como este está se referindo ao manual.
Syntax: ExpiresActive On|Off
Context: server config, virtual host, directory, .htaccess
Override: Indexes
Status: Extension
Module: mod_expires
Os dois campos de interesse são Context e Override. Como podemos ver o seu OK para usar ExpiresActive em um arquivo. Htaccess ao longo como você AllowOverride Indexes
Atualização:
Para atender à sua necessidade de expirar cabeçalhos. Confira o link
Espero que isso ajude:)