O navegador não precisa ver uma extensão .html para saber que é um documento tipo mime text / html. Contanto que o cabeçalho transmita para o navegador do cliente que o documento é de fato do tipo mime text / html, isso fará muito bem:
ExpiresByType text/html "access plus 300 seconds"
Se você elaborar a parte "tem suas próprias desvantagens", talvez possamos comentar sobre isso também.