Se fosse eu, estaria usando o GlusterFS. A versão atual é bastante sólida e conheço pessoas em instalações muito grandes, tanto no HPC quanto no espaço da Internet, que dependem dela em seus sistemas de produção. Você pode basicamente adequá-lo às suas necessidades, colocando os componentes como você precisa deles. Ao contrário do Lustre, não há servidores de metadados dedicados, portanto, os pontos centrais de falha são minimizados e é mais fácil dimensionar a configuração.
Infelizmente, não acho que haja uma maneira fácil de atender aos seus critérios de 75% sem prejudicar o desempenho.
Ele roda em hardware comum, mas o desempenho realmente brilha ao usar a interconexão Infiniband. Felizmente, o preço do IB é realmente muito baixo nos dias de hoje.
Você pode querer verificar os caras da > Scalable Informatics e seus produtos da Jackrabbit como uma solução. Eles suportam o GlusterFS em seus hardwares, e o preço de sua solução certamente rivaliza com o custo de montar algo do zero.