Você deve conseguir usar os Gerenciador de Recursos de Servidor de Arquivos , que pode ser instalado com a função Serviços de Arquivo e Impressão para gerenciar quais extensões são permitidas em quais diretórios. Até onde sei, não existe uma maneira nativa do IIS de fazer isso, mas o FSRM é limpo e fácil e também pode colocar cotas, uso de e-mail e outras coisas úteis nas pastas em questão.