Eu tenho um disco com muitos dados e eu quero escrever algum código para que milhares de threads possam operar nos dados. Cada thread trabalharia em seu próprio arquivo individual. Isso acelerará o processamento. Eles vão ler alguns arquivos de entrada e escrever alguns arquivos de saída. Cada thread irá trabalhar de forma independente, para que eu possa girar o quanto eu quiser.
No entanto, estou preocupado com milhares e milhares dessas threads acessando o sistema de arquivos e sinto que haverá contenção no acesso ao arquivo.
Quais métodos existem para permitir o acesso rápido a arquivos para muitos segmentos ou processos que acessam um sistema de arquivos?