Eu não estou pessoalmente familiarizado com a abordagem que você está tomando, mas para lhe dar uma direção geral para procurar ...
Você deve ser capaz de definir uma negação geral para todos os arquivos no diretório. Em seguida, você pode usar o bloco em sua postagem original para conceder acesso específico aos tipos de arquivos correspondentes à regex desejada, usando o filesmatch. Algo nesse sentido deve funcionar. Alguém pode ser capaz de fornecer um código específico para isso, eu não estou familiarizado o suficiente com a sintaxe do apache para descobrir isso fora do topo da minha cabeça.