Finalmente, conseguimos encontrar a solução:
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
<filesMatch "\.(?i:png|mp4)$">
Order Allow,Deny
Allow from all
</filesMatch>
Com isso, eu estou dizendo "Por padrão, proibir o acesso a tudo. Então, se um arquivo é PNG ou MP4 tipo (sim,? i: efetivamente ignora caso), permitir o acesso a ele de todos os lugares.
Por favor, note que eu tive que substituir todas as entradas AllowOverride None em httpd.conf em AllowOverride All para que o .htaccess seja realmente levado em conta (ele estava sendo ignorado antes).