Eu não sou um ninja de sistema de arquivos distribuído, mas depois de consolidar o máximo de unidades possíveis, eu tentaria usar o iSCSI para conectar a maioria das máquinas a uma máquina principal. Lá eu poderia consolidar as coisas em esperançosamente um armazenamento tolerante a falhas. De preferência, tolerante a falhas dentro de uma máquina (se um inversor se apagar) e entre máquinas (se uma máquina inteira estiver desligada).
Pessoalmente, gosto do ZFS. Nesse caso, a compilação em compactação, desduplicação e tolerância a falhas seria útil. No entanto, tenho certeza de que há muitas outras maneiras de compactar os dados e, ao mesmo tempo, torná-los tolerantes a falhas.
Gostaria de ter uma solução real de arquivo distribuído pronta para uso, eu sei que isso é realmente confuso, mas espero que você esteja na direção certa.
Editar: ainda sou novo no ZFS e configuro o iSCSI, mas lembrei de ter visto um vídeo da Sun na Alemanha, onde eles mostravam a tolerância a falhas do ZFS. Eles conectaram três hubs USB a um computador e colocaram quatro pen drives em cada hub. Então, para evitar que qualquer hub baixasse o pool de armazenamento, eles criaram um volume RAIDz que consistia em uma unidade flash de cada hub. Em seguida, eles dividem os quatro volumes RAIDz do ZFS juntos. Dessa forma, apenas quatro pen drives foram usados para paridade. Em seguida, claro, o hub desconectado e que degradou todos os zpool, mas todos os dados estavam disponíveis. Nesta configuração, até quatro unidades podem ser perdidas, mas somente se duas unidades não estiverem no mesmo conjunto.
Se essa configuração foi usada com a unidade bruta de cada caixa, isso preservaria mais unidades para dados e não para paridade. Eu ouvi que o FreeNAS pode (ou poderia) compartilhar drives de uma maneira "bruta" via iSCSI, então presumo que o Linux possa fazer o mesmo. Como eu disse, ainda estou aprendendo, mas esse método alternativo seria menos dispendioso do que a minha sugestão anterior. É claro que dependeria do uso do ZFS, que não sei se seria aceitável. Eu sei que geralmente é melhor se ater ao que você sabe se você vai ter que construir / manter / consertar algo, a menos que isso seja uma experiência de aprendizado.
Espero que seja melhor.
Editar: fiz algumas pesquisas e encontrei o vídeo de que falei. A parte em que eles explicam a propagação da unidade flash USB sobre os hubs começa em 2m10s. O vídeo é para demonstrar o servidor de armazenamento "Thumper" (X4500) e como distribuir os discos pelos controladores, por isso, se você tiver uma falha no controlador de disco rígido, seus dados ainda serão bons. (Pessoalmente eu acho que isso é apenas um vídeo de geeks se divertindo. Eu gostaria de ter uma caixa de Thumper, mas minha esposa não gostaria que eu levasse um porta-paletes pela casa.: D Essa é uma grande caixa.)
Editar: Lembrei-me de vir através de um sistema de arquivos distribuídos chamado OpenAFS . Eu não tinha tentado, eu só tinha lido sobre isso. Talvez outros saibam como isso funciona no mundo real.