ZFS no Enterprise RAID pass-through e ZFS no FreeBSD root

Question

Temos executado o ZFS em cima de um único hardware RAID no Dell Poweredge por anos. Eu sei que a maioria das pessoas é contra isso, mas a partição snapshot / clone, compactação e flexível do ZFS nos serviu muito bem. Sempre que uma unidade morre, um técnico da Dell é despachado (o servidor está em outro estado), ele confirmará que a unidade possui uma luz âmbar e a substituirá.

Agora, queremos aproveitar o armazenamento em cache do L2ARC / ZIL do ZFS, e estamos pensando seriamente em executar o ZFS em discos nus. Os controladores RAID atuais da Dell (PERC H730 / H330) suportam passagem. Minhas perguntas restantes são:

1. se uma unidade falhar no ZFS, ela exibe luz âmbar no painel frontal? Isso é importante porque, o técnico da dell despachada pode precisar confirmar se a unidade está realmente com defeito. Caso contrário, podemos ter problemas com a Dell.

2. alguém roda o ZFS no FreeBSD root? Está na qualidade de produção? Algum problema conhecido?

Answer 1

Você pode controlar o PERC H730 e o H330 usando o utilitário LSI MegaCLI, pois ambos são cartões LSI com selo PERC da Dell.

Há um excelente artigo e tutorial sobre como fazer isso no link

Eu sei que zfsonlinux tem um ZED Event Daemon (ZED), que você pode usar para fazer coisas específicas acontecerem em certos eventos (por exemplo, usar MegaCLI para ligar a luz âmbar para um determinado slot quando uma unidade morre).

IIRC, o FreeBSD tem um ZFSd que pode fazer coisas parecidas, mas eu não sou especialista em FreeBSD, então não posso indicar mais informações além de dizer que os fóruns do FreeBSD estão cheios de conselhos úteis e pessoas úteis.

Eu suspeito que a parte mais difícil de fazer isso seja descobrir qual é o número "slot" da MegaCLI para uma determinada unidade, porque o ZFS só sabe sobre o nó / nome do dispositivo e não possui informações específicas de LSI ou PERC . se o nome do nó do dispositivo estiver diretamente relacionado ao número do cartão e do slot, pode ser uma transformação trivial .... caso contrário, pode ser bem difícil.

Mesmo que você precise usar manualmente a MegaCLI para acender a luz âmbar do shell quando uma unidade morre para satisfazer as expectativas de procedimento da tecnologia Dell, ainda assim é melhor dar discos rígidos do ZFS em vez de sobrepor o ZFS ao hardware. raid - você está perdendo a maioria dos recursos importantes do ZFS fazendo isso, e eles são os recursos mais importantes (por exemplo, detecção e correção de erros para seus dados).

    

Answer 2

O DELL PERC H330 ou H730 não são cartões adequados para o ZFS no FreeBSD. Há muitos equívocos sobre o modo de "passagem" desses cartões e eles simplesmente não implementam isso da maneira que deveria ser para o FreeBSD. Com certeza funciona no Windows, mas não é o caso do FreeBSD.

Se você tentar usar esses controladores no FreeBSD 10.2 por exemplo, ele irá carregar com o mfi (4) driver que, na verdade, não é a maneira suportada de fornecer discos brutos para o ZFS. Por exemplo: usando este driver, as informações da SMART não estarão disponíveis para o sistema operacional e isso comprometerá a confiabilidade da sua matriz.

Há trabalhos no driver mrsas (4) , mas esse driver parece não ser confiável neste momento e inutilizável para qualquer coisa. As quedas de disco não são viáveis em um sistema de armazenamento. Existem alguns relatórios sobre esse comportamento: link

Então, minha recomendação neste momento é continuar com sua configuração. Eu sei, isso é uma merda. Mas esta é a melhor opção com o ZFS neste momento. Tenha em mente que o ZFS é realmente temperamental com o hardware que você dá a ele. Por isso, esperamos que um hardware adequado funcione como deveria.

Se você realmente quiser usar o ZFS com seu poder, obtenha uma placa HBA adequada (ou um controlador RAID que possa ser executado com firmware de iniciador de TI) e pronto.

Embora o PERC H330 seja baseado no chipset LSI / Avago SAS3008 e seja basicamente um clone do HBA LSI / Avaga 9300-8i, não é possível fazer o crossflash do H330 para o modo de TI, e o firmware da DELL não implementa o modo IT adequado (necessário) para o FreeBSD.

Neste momento estou com um problema semelhante. Eu não me importo com os leds no sistema ou o que quer que seja, mas estou preso a um PowerEdge R730 com um H330 e incapaz de executar corretamente um armazenamento ZFS na máquina.