Depois de uma pequena pesquisa sobre isso, você pode definir isso assim:
HeaderName /path/to/header.php
ReadmeName /path/to/footer.php
AddType text/html .php
Addhandler application/x-httpd-php .php
<Directory /path/to/indexedDir>
Options Indexes
</Directory>
E isso deve ser feito, sem implicações de segurança (do meu comentário acima).