Configuração de disco Hadoop JBOD no controlador de disco HP Smart Array 410 / i

Question

Eu estou em uma fase de avaliação de alguns hw que poderiam ser usados para configurar um cluster de hadoop. Este hw é recondicionado (servidores hp G6 com controlador Smart Array 410 / i) e provavelmente devemos / devemos usá-lo ... ainda não o temos. Eu li que o controlador 410 / i não permite uma configuração de JBOD como requerido pelo hadoop, há alguém que possa confirmar esta afirmação? Ou não ? Parece que uma solução alternativa seria configurar o raid0 em cada disco, mais uma vez, alguém o confirma ou há outras formas de configuração? Obrigado Rob

    

Answer 1

O controlador Smart Array 410 / i permite que apenas dois dispositivos RAID sejam criados sem o cartão de memória opcional adicionado a ele. Então, se o seu hardware tem apenas 2 drives, então tudo bem; você pode fazer 2 raid0's. Se você tiver mais de 2 unidades, provavelmente terá que adquirir a peça nº 462974-001 - Módulo de memória BBWC com cache de gravação com bateria de 256 MB. Se você não tiver certeza, experimente o utilitário de configuração, ele reclamará que há um limite no número de dispositivos RAID configurados permitidos se você precisar comprar o complemento de memória.

Recentemente, configurei um servidor ZFS utilizando um desses e 12 discos no modo RAID0 para cada um e ele funciona bem. Como você pode desativar praticamente todos os recursos do controlador RAID real, é efetivamente o mesmo que o modo JBOD.

    

Answer 2

Essa situação é semelhante ao que encontro ao projetar hardware para soluções de armazenamento ZFS. O ZFS é um RAID de software e aproveita os recursos do servidor para o gerenciamento de disco. O hardware RAID não é recomendado, e o JBOD não é realmente possível com os controladores Smart Array. Portanto, ao usar sistemas ProLiant para ZFS, eu substituo o controlador Smart Array por algo que tenha um modo JBOD ou um HBA básico SAS / SATA.

Normalmente, este será um HBA SAS LSI (sem recursos RAID). Minha preferência é o LSI 9211-8i ou 9205e.

Veja as recomendações em: Recomendações do controlador ZFS SAS / SATA

    

Answer 3

Embora o intervalo Pxxx não permita a configuração direta do JBOD se você criar apenas um array de todos os seus discos e, em seguida, criar vários arrays RAID0 de tamanhos equivalentes, então você está praticamente lá em termos de similaridade funcional. Dito isso eu também estou um pouco duvidoso do requisito do Hadoop, em primeiro lugar não há como realmente dizer qual é a configuração real do disco, pois é ocultado pelo BIOS e, em segundo lugar, porque parece excessivamente prescritivo, considerando o quão bem os controladores HP são, o que o problema com o array gerenciando seus discos?

    

Answer 4

Você pode configurar o RAID0 por disco físico disponível.

Digamos que, se você tiver 8 discos, acabará tendo algo parecido com isso (CentOS 6):

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)