Na minha experiência, <Directories>
corresponde a qualquer coisa em um diretório ou subdiretório.
Eu não fiz isso antes, mas isso parece um comportamento correto para mim. Por que não tentar dobrar as duas entradas do diretório em 1 e adicionar
SetEnvIfNoCase Request_URI ".html" accept