Temos um pequeno cluster Hadoop de distribuição Cloudera de produção (14 nós, mas crescendo). À medida que expandimos nosso uso desse cluster, descobrimos que o armazenamento em disco é nosso maior bloqueador e requisito. O uso de RAM e CPU é mínimo com nossas cargas de trabalho, e nossos desenvolvedores já reduziram significativamente a quantidade de dados armazenados.
O hardware que estamos usando é relativamente baixo e, portanto, maximizamos o número de unidades que podemos instalar em cada nó. No momento, não estamos sem espaço, mas temos uma nova fonte de dados que acelerará nosso crescimento de dados e gostaríamos apenas de adicionar armazenamento ao sistema.
Os sistemas possuem apenas um slot de placa de expansão, que atualmente possui nosso HBA SAS executando as unidades internas. Acredito que podemos substituir isso por um HBA que tenha portas SAS internas e externas, o que nos permite manter as unidades internas e conectar-se às externas. Onde estou entrando nos limites do meu entendimento e dos poderes do Google é que não consigo encontrar a configuração ideal para usar para manter os discos rígidos externos e dar a cada servidor um acesso direto aos drives, 6Gbit / s SAS.
O Hadoop HDFS prefere não ter nenhuma outra tecnologia entre ele e o disco rígido, e eu gostaria de mantê-lo assim. Se eu estivesse usando o SATA, eu pegaria um gabinete externo de unidade de rack que conecta diretamente suas portas eSATA externas às unidades internas sem expansores de unidade ou controladores RAID. Não consigo encontrar o equivalente no hardware SAS.
O que estou tentando encontrar são sugestões para o DAS SAS, de preferência com um único chassi que pode atender a vários servidores e não faz nada de criativo além disso. Caso contrário, quais opções eu tenho para fornecer o armazenamento equivalente e velocidades para as unidades SAS que usamos agora?
Jared
Você está procurando um gabinete JBOD externo que possa acomodar discos SAS e tenha a capacidade de ser dividido em zoneamento ou acomodar vários servidores ...
O único exemplo em que consigo pensar é um HP MDS600 (anterior) ou D6000 ( atual)
Eles podem ser usados com segurança com um padrão SAS HBA (LSI) e fornecem acesso direto ao disco sem uma camada RAID.
