Você pode usar um sistema de comentários baseado em env para permitir e negar acesso ao seu site:
SetEnvIfNoCase request_uri (js|css|jpg|gif|png|mp4|php|html)$ allowedfiles=1
Order deny,allow
Deny from all
Allow from env=allowedfiles
SetEnvIfNocase não faz distinção entre maiúsculas e minúsculas, combina png e PNG .
Você também pode usar mod-rewrite:
RewriteEngine on
##If the request uri doesnt end with these extensions##
RewriteCond %{REQUEST_URI} !(js|css|jpg|gif|png|mp4|php|html)$ [NC]
##forbid the request##
RewriteRule ^ - [F,L]