Enviar os dados sem um redirecionamento quebraria os links relativos. Se http://server/directory contiver file , o URL completo para isso seria http://server/directory/file . Um link especificado como <a href="file"> apontará para http://server/directory/file se o URL base for http://server/directory/ , mas se o URL base for apenas http://server/directory , ele apontará para http://server/file , o que não é o resultado pretendido.
O Apache poderia ter gerado a listagem do diretório de duas maneiras diferentes, dependendo do URL, em vez de redirecioná-lo. No entanto, isso não funcionaria se houvesse um arquivo index.html no diretório. Então, em vez disso, o Apache está usando a abordagem, que funciona nos dois casos.
Este não é um comportamento novo, uma década atrás, o Apache estava se comportando da mesma maneira. Os clientes que não conseguem lidar com um redirecionamento já devem ter sido corrigidos. Mas para qualquer cliente que não consiga lidar com um redirecionamento, o Apache deve estar enviando um pequeno arquivo html com um link que possa ser seguido.