Existem algumas maneiras de fazer isso - você pode começar analisando o GlusterFS
"GlusterFS é um sistema de arquivos em cluster capaz de escalar para vários peta-bytes. Ele agrega vários blocos de armazenamento através da interconexão Infiniband RDMA ou TCP / IP em um grande sistema de arquivos de rede paralela. qualquer hardware comum, como o servidor x86-64 com RAID SATA-II e interconexão Infiniband ou GigE. "
Mas esteja avisado que pode ser um pouco difícil administrar e o desempenho pode ser lento.
Eu ouvi algumas coisas boas sobre o MogileFS , mas ainda não o usei.
PS: Um colega acabou de mencionar Tahoe