Atualmente, armazenamos nossas fotos em uma estrutura como esta:
pasta \ 1 \ 10000 - 19999.JPG | ORF | TIF (10 000 arquivos)
pasta \ 2 \ 20000 - 29999.JPG | ORF | TIF (10 000 arquivos) etc ...
Eles são armazenados em 4 NAS de D-link de 2 TB diferentes conectadas e compartilhadas na rede do nosso escritório (\\ nas1, \\ nas2 e assim por diante ...)
Problemas:
1) Quando um cliente (somente Windows, Vista e 7) deseja procurar a pasta \\ nas1 \ folder \ 1 \, o desempenho é bastante baixo. Um problema. Lista leva muito tempo para gerar na janela do explorador. Mesmo com ícones desligados.
2) O acesso inicial ao próprio NAS às vezes é lento. Problema.
Discos SAN muito caros para nós. Mesmo com a tecnologia de interface / switch iSCSI.
Eu li muitas páginas de tecnologia dizendo que armazenar 100.000 arquivos em uma única pasta não deveria ser um problema. Mas não nos atrevemos a ir lá agora que experimentamos problemas em um nível de 10K.
Todas as entradas são muito apreciadas,
/ T
1: sim, o Explorer não gosta de 10.000 itens em um diretório. 1000 é melhor. Este não é um problema no sistema de arquivos - você pode armazenar 100.000 arquivos em uma pasta e trabalhar com eles eficientemente a partir da linha de comando. É o Explorer sendo lento.
2: Disco Velociraptor 600gb. 10.000 RPM. Rápido. Precisa de mais, então pegue o dinheiro para o SAS. Ou espere até que as coisas fiquem mais baratas. Se eu precisar de um caminhão, preciso pagar por isso.
Você precisa analisar o software de gerenciamento de ativos digitais. O software DAM é construído para gerenciar grandes coleções de fotos / vídeos / áudio. Eles geralmente são suportados com banco de dados para gerenciar catálogos de mídia. Um exemplo é MS iView
Aposto que a caixa dlink está ficando sem CPU ou RAM.
Armazenamos milhões de novos arquivos de imagem por dia.
O Windows não gosta de um grande número de arquivos em uma pasta. Mantemos o número abaixo de 10K por pasta em nossas máquinas com Windows.
O Linux usando o SAMBA é uma solução melhor para gerenciar a camada de apresentação do que o CIFS no Windows. Colocamos o apache em camadas para que os usuários naveguem pelos arquivos brutos e também tenham um banco de dados para ajudá-los a obter o que precisam por meio de um simples aplicativo de busca na web. Escrevemos nossa própria solução para gerenciar as imagens, pois todas as versões têm problemas.
O total de arquivos em um LUN é de aproximadamente 80 milhões ou 2 TB.
Usamos o rsynch para fazer backup em outro sistema de disco e, em seguida, enviamos para a fita quando o volume fica inativo.
Você precisa ter muito cuidado com os discos por grupo de invasores e gerenciar suas IOs cuidadosamente durante toda a pilha de tecnologia. é muito fácil ficar sem combustível e com muitos dados chegando até você, quando você fica para trás, você sentirá muita dor.
CPU, RAM, cartão RAID, fusos, mobo, rede - todos precisam ser o mais rápido possível.
Muitos spindles e um cartão pci 2.0 LSI em um LGA1366 Mobo com pelo menos um x5550 é o caminho a ser seguido.
Gostamos muito da linha de caviar de mesa da Seagate, pois ela é rápida e barata.
Eu criaria uma caixa personalizada com muitos eixos.
Você deve estar usando um sistema DAM para rastrear essas imagens. Eu gosto da idéia de mantê-los em um NAS, desde que você possa fazer backup deles, mas você gostaria que um aplicativo orientado por banco de dados mantivesse o controle sobre o arquivo existente e, se possível, fornecesse um banco de dados pesquisável em miniatura. Eu tive boa sorte com o Extensis Portfolio.
Confira: link