Quão ruim é o Network Attached Storage para determinados aplicativos em nuvem?

Question

Ouvi dizer que é recomendado ficar longe da hospedagem da AWS para certos aplicativos de "big data" (por exemplo, Hadoop, Cassandra, Solr) porque as instâncias do EC2 normalmente usam armazenamento conectado à rede (embora haja mais recentemente algumas instâncias de E / S altas mas eles são aparentemente muito caros).

Faz sentido para mim que o NAS envolva um desempenho bastante decente, mas quanto? Como a AWS existe, presumivelmente há muitos exemplos de aplicativos que fazem sentido nesse tipo de ambiente, mas o que é uma boa regra prática para determinar se um aplicativo em particular é um bom candidato para AWS e NAS? (Além de colocá-lo na AWS e testá-lo).

    

Answer 1

A latência de armazenamento será sua métrica.

Se o seu aplicativo for altamente sensível à latência de armazenamento, você precisará se afastar da AWS e ir para a física, ou gastar o dinheiro para obter as instâncias do Storage Optimized. Eles afirmam especificamente que são os tipos de coisas como Hadoop e Cassandra.

A coisa sobre as camadas mais altas dos tipos de instância da AWS é que ela não é NAS, é mais física com suporte NAS. Os detalhes não estão claros, mas você está muito mais próximo do hardware quando está dirigindo um armazenamento otimizado para uma instância otimizada para cluster.

    

Answer 2

Estou executando o Cassandra Cluster na AWS e concordo com o que você leu sobre ficar longe do NAS (EBS). Recentemente, mudei para caixas hi1.4xlarge (elas vêm com 2 SSDs de 1 TB) e eu RAID0 para ganhar o máximo disso. Com esta configuração eu sou facilmente capaz de lidar com 15 mil leituras / seg, meu aplicativo não é muito orientado para escrever, então eu não posso ajudar você lá. Espero que isso ajude.