Soluções de acesso a dados eficientes e grandes (noob)

1

Eu tenho um site auto-hospedado que permite aos usuários efetuar login e visualizar dados armazenados em arquivos diferentes em uma rede. O servidor da web está executando um serviço que acessa os dados e os envia para os usuários.

A configuração é simples: o servidor da Web é uma máquina dedicada, conectada em rede com outros servidores de dados por meio de uma LAN gigabit. O serviço da Web está acessando os dados por meio de compartilhamentos de arquivos SMB simples. Ele não conhece nada da rede e está usando apenas caminhos de arquivos simples como \dataserver1\foo\bar.jpg . Cada servidor de dados está armazenando terabytes de dados.

Estou percebendo que o acesso a dados é um pouco mais lento do que eu esperava. Essa é a melhor maneira de disponibilizar os dados para os usuários? Existe uma solução melhor e mais eficiente que os compartilhamentos de arquivos SMB? Este sistema é totalmente baseado no Windows.

    
por Phil 27.08.2010 / 16:29

1 resposta

1

\ Bem, primeiro - eu me livraria de \\ dataserver1 \ - realmente amo usar o DFS para organizar meus compartilhamentos em um hiararchy que NÃO contém o nome do servidor. Permite a replicação, etc. em fases posteriores.

Dito isso, você está basicamente pronto. Você precisa descobrir onde estão os seus gargalos. Em 2008R2, os compartilhamentos de arquivos não são particularmente lentos. Mas para arquivos grandes, a rede pode ser lenta (gigabit lan - desculpe - não é exatamente rápido, 80mbite por segundo é tudo o que você terá aqui). Você também pode ter problemas de memória ou excesso de trabalho no disco IO - por isso, sugiro fazer uma análise de desempenho em seus servidores de armazenamento.

Por favor, atualize sua pergunta com uma análise mais detalhada? Dado "terabyte de dados" eu assumo que você pode ter um problema com o seu servidor saturando pelo menos o seu próprio lado da rede, caso em que obter um switch com pelo menos 1-2 portas de 10gbit é a única solução (ou um cartão isso permite a ligação). Mesmo que servidores individuais não atendem mais de 1gbit - o único servidor da Web pode estar sobrecarregado.

Quanto de processamento acontece? Como muc hdata é "jogado fora" no servidor web? Se isso for muito, substitua os compartilhamentos SMB pelos serviços da Web nos servidores que PRE-FILTER THE DATA, para que a parte de descarte ocorra nos servidores de armazenamento individuais.

depende realmente do que você faz com ele, e você não nos dá informações suficientes aqui para fazer mais do que suposições selvagens totalmente sem instrução.

    
por 27.08.2010 / 16:50