Armazenamento baseado em arquivo Vs Database Storage

Question

nossa empresa atualmente armazena muitos arquivos gerados automaticamente em disco, isto é, presencialmente, são bem mais de 200.000 arquivos, existem PDFs e têm cerca de 100k - 1M de tamanho.

Foi solicitado que eu fornecesse alguma evidência para os prós e contras de armazenar esses dados em arquivos x armazená-los como registros de banco de dados.

Eu gostaria de nos ver onde possível armazenar esses dados em um MS SQL ou MySQL db etc, em vez de ter 200.000 arquivos batendo em torno de uma pilha de diretórios locais.

como eu gosto de vocês é algumas boas razões sólidas para usar qualquer um dos sistemas para que eu possa avaliar a diferença e colocar meu caso adiante.

    

Answer 1

Honestamente, não consigo ver nenhuma vantagem obtida ao armazenar esses documentos em um banco de dados. Como os documentos não são alterados, nem os sistemas de controle de versão nem os sistemas de gerenciamento de documentos adicionam qualquer valor.

O melhor que você pode fazer é armazená-los em um servidor separado com um sistema de arquivos que se destaca na recuperação rápida (possivelmente XFS, leia mais aqui e aqui ). O que pode ajudar é uma boa organização da própria estrutura de pastas, por ex. no caso de sinistros, uma superestrutura por ano e por mês, ou, no caso de contatos de seguro, uma superestrutura ordenada pelos primeiros dígitos / caracteres do número da apólice.

    

Answer 2

Existe algum valor que é armazenar os arquivos em um banco de dados orientado a documentos. Mas, isso depende inteiramente de como você está usando os arquivos, com que frequência eles são acessados, com que rapidez eles precisam ser acessados. Existem também sistemas de gerenciamento de documentos que podem ser um bom ajuste. Você precisa detalhar seu caso de uso primeiro.

    

Answer 3

Existe algo quebrado ou complicado no seu esquema de armazenamento atual? O custo de transição de mover seus arquivos para um banco de dados não será trivial. Colocando a dor da mudança de lado, aqui estão algumas coisas a serem consideradas:

• Consistência de dados: você não especificou qual sistema de arquivos / plataforma usando, mas um banco de dados pode fornecer melhores verificações de integridade para arquivos individuais.

• Recuperação externa: a maioria dos DBAs que valem alguma coisa sabe como usar o recursos de replicação de seu banco de dados.

• Backup: dependendo da situação que seu fornecedor de banco de dados pode fornecer você com opções de backup (log de backup assistido, snap shots, consistente backups quentes) que seu sistema operacional pode não fornecer.

• Registro em log / auditoria: os recursos de segurança dos bancos de dados mais modernos fornecer a você um registro de quem acessou cada arquivo.

• Privacidade de dados: está criptografando dados no banco de dados de sua preferência que no seu sistema operacional?

Tecnicamente, há uma solução baseada em sistema de arquivos / sistema operacional para cada um dos pontos que listei (por exemplo, rsync, audição em nível de kernel, criptografia de sistema de arquivos). Se o que você tem é adequado para as suas necessidades atuais e projetadas, você não pode superar a simplicidade de um sistema de arquivos. No entanto, se sua organização tiver strongs habilidades em DBA e uma fina equipe de Administração de Sistemas, talvez você esteja em melhor situação com um banco de dados. A decisão pode ser fácil se o seu DBA já tiver estabelecido procedimentos comprovados para atender a todos os seus requisitos.

    

Answer 4

Parece que pode não ser necessariamente "sistema de arquivos" versus "banco de dados" tanto quanto possivelmente mais uma comparação de gerenciamento, acesso e proteção de dados? Talvez em torno de coisas como:

• Proteger com replicação e / ou detecção / correção de erros contra perda
• Gerenciamento de armazenamento com deduplicação e / ou expansibilidade
• Acessibilidade do cliente (aplicativo / interface nativa versus personalizada)
• Opções de relatórios