Acho que isso ocorre porque gerar um índice para o arquivo permite acessar a biblioteca 'aleatoriamente'. Isto é, você pode ir diretamente para qualquer entrada no arquivo, em vez de ter que ler todo o arquivo desde o início, procurando pela entrada.
'Acesso Aleatório' é um termo geral usado para E / S de arquivo para itens que permitem acessar partes de um arquivo diretamente, em vez de ler o arquivo sequencialmente desde o início. Java, por exemplo, tem RandomAccessFile
para ler arquivos dessa maneira.