Perguntas sobre 'large-data'

Tags
3
respostas

Como grandes empresas fazem backup de seus dados?

Como as empresas que lidam com grandes quantidades de dados, como o Google ou o Facebook, fazem backup de tudo? De acordo com este artigo da plataforma Google na Wikipedia, o Google tem um número estimado de mais de 450.000 servidores, cada...
18.11.2010 / 01:34
8
respostas

configuração de 24 TB RAID 6

Estou encarregado de um novo site em um nicho de mercado que armazena muitos dados (10+ TB por cliente, crescendo para 2 ou 3 clientes em breve). Estamos considerando encomendar cerca de US $ 5.000 em unidades de 3 TB (10 em uma configuração RAI...
06.06.2011 / 18:59
3
respostas

Posso validar um download grande de arquivos em partes por http

Estou fazendo o download de um arquivo grande em http via wget , 1,2TB. O download leva cerca de uma semana e já conteve corrupções duas vezes (falha na verificação do md5, que leva dias para ser executada sozinha). Existe uma boa maneir...
24.10.2017 / 21:19
2
respostas

O rsync é um bom candidato para implementação de failover (conjunto de dados muito grande)?

Eu tenho um grande conjunto de dados (+100 GB) que podem ser armazenados em arquivos. A maioria dos arquivos estaria no intervalo de 5k-50k (80%), depois 50k - 500k (15%) e > 500k (5%). O tamanho máximo esperado de um arquivo é de 50 MB. Se n...
25.04.2011 / 20:29
2
respostas

Importe um arquivo csv de 260GB para o MySQL

Eu tenho um csv realmente grande ~ 260GB e quero importá-lo para o MySQL. Eu uso o seguinte script mysql no MacOS DROP TABLE IF EXISTS tmp_catpath_5; create table tmp_catpath_5( a1 BIGINT(20),a2 BIGINT(20),a3 BIGINT(20),a4 BIGINT(2...
13.12.2010 / 23:37
2
respostas

Unidade 4TB HGST SATA mostra apenas 1,62 TB no Windows Server 2012

Estou usando uma placa-mãe Supermicro X9SRE-3F com o BIOS mais recente e unidades 2x 4TB conectadas ao controlador SATA integrado. Se eu definir o BIOS como RAID e criar um array RAID 1, o array aparecerá no BIOS como 3.6TB. No entanto, quand...
16.09.2012 / 16:44
2
respostas

Denial of Service do Tomcat devido a pacotes grandes

Eu fiz esta pergunta sobre o ITSecurity, mas senti que esta questão está melhor colocada aqui. Em uma avaliação recente, descobri que enviar grandes solicitações (> 5 MB) para um servidor tomcat causa 100% de uso da CPU no servidor. A corr...
02.08.2012 / 19:00
2
respostas

Aumentando o tamanho disponível para, ou alterando a localização de / tmp

Atualmente, sou responsável por um servidor rodando Red Hat e um webapp de bioinformática que lida com arquivos enormes, alguns dos quais com mais de 100 GB quando não compactados. O ato de descomprimir esses arquivos é feito por vários programa...
13.03.2012 / 22:52
1
resposta

Leitura 65k linhas trava PHP / MySQL

Estou desenvolvendo um aplicativo PHP que processa endereços IP. Eu estou trabalhando com tabelas mysql contendo até 4 bilhões de linhas. Eu tenho um script que atualmente precisa buscar 65536 endereços desta tabela e a interface mysql < -...
25.06.2015 / 09:45
6
respostas

tabelas do SQL Server 2000

Atualmente, temos um banco de dados do SQL Server 2000 com uma tabela contendo dados para vários usuários. Os dados são codificados por memberid, que é um campo inteiro. A tabela tem um índice clusterizado em memberid. A tabela agora é de cer...
28.04.2010 / 19:38