Meu projeto usa várias máquinas de processamento e uma máquina de armazenamento. Atualmente, o armazenamento é organizado com uma pasta compartilhada filetable do MSSQL. Cada arquivo no armazenamento tem alguns metadados no banco de dados.
O processamento de máquinas executa tarefas para as quais eles precisavam de arquivos do armazenamento e de seus metadados. Depois de concluir a tarefa, a máquina de processamento coloca os dados resultantes de volta no armazenamento. A partir daí é levado por outra máquina de processamento, que também gera algum arquivo e o coloca de volta no armazenamento. E etc.
Tudo estava bem, mas à medida que o número de máquinas de processamento aumenta, acabei ficando preso com o desempenho do disco rígido da máquina de armazenamento.
Por isso, quero que as máquinas de processamento coloquem arquivos no FS distribuído. para levantar a carga das máquinas de armazenamento, a partir da qual elas podem coletar dados umas das outras, não apenas da máquina de armazenamento.
Você pode sugerir um FS distribuído específico que atenda às minhas necessidades? Ou existe outra maneira de resolver este problema sem ele?
As quantidades de dados no FS em um tempo são como vários terabytes. (o armazenamento pode lidar com isso, mas os processadores não podem). A consistência dos dados é crítica. Política de leitura e escrita é: uma vez que o arquivo é escrito - é constante e pode ser removido apenas, mas não modificado.
Minha plataforma atual é o Windows, mas estou pronto para mudá-la, se houver uma solução substancialmente mais conveniente em outra.