linux do sistema de arquivos remoto com backup de disco local

Question

Existe uma maneira no Linux ou em qualquer outra plataforma * NIX de ter um sistema de arquivos remoto montado localmente com um cache local suportado pelo sistema de arquivos.

Eu tenho alguns dados de arquivo no S3 que preciso acessar. A maneira como eles são acessados é; Uma vez tocado aplicativo (s) precisa lê-lo fora S3 várias vezes.

Eu sei que posso estar pedindo ao sistema de arquivos para fazer o trabalho de aplicativos de armazenamento em cache de dados; mas o problema é que eu não tenho controle sobre o aplicativo para modificá-lo.

    

Answer 1

Isso costumava funcionar bem no Solaris usando o CacheFS; O espaço HDD local era alocado como o buffer, no qual o conteúdo dos arquivos montados pelo NFS acessados com frequência era armazenado em cache e a partir do qual eles eram servidos se o serviço CacheFS determinasse que o conteúdo no servidor NFS permaneceu inalterado desde que foram armazenados em cache. Quando o usei no Solaris, funcionou bem.

De acordo com a página da Wikipédia no CacheFS , ele foi portado para (reescrito para?) Linux, com o mais recente liberação tendo sido no ano passado.

Eu não posso comentar sobre a implementação do Linux, mas assumindo que ele faz o que o Solaris costumava fazer, acho que pode ser o que você está procurando.

    

Answer 2

s3fs tem uma opção de armazenamento em cache.

If enabled via "use_cache" option, s3fs automatically maintains a local cache of files in the folder specified by use_cache. Whenever s3fs needs to read or write a file on s3 it first downloads the entire file locally to the folder specified by use_cache and operates on it. When fuse release() is called, s3fs will re-upload the file to s3 if it has been changed. s3fs uses md5 checksums to minimize downloads from s3. Note: this is different from the stat cache (see below).

Local file caching works by calculating and comparing md5 checksums (ETag HTTP header).

The folder specified by use_cache is just a local cache. It can be deleted at any time. s3fs re-builds it on demand. Note: this directory grows unbounded and can fill up a file system dependent upon the bucket and reads to that bucket.

    

Answer 3

Você considerou algo como espelhar o sistema de arquivos usando um sistema de arquivos como o DRBD ? Se não for o DRBD, então há outros que poderiam ser usados, isso pode dar um ponto de partida para o Google.

Não é cache, no sentido real, mas iria duplicar os dados localmente e transmitir as alterações para um sistema remoto. Se é prático ou não, depende de quantas mudanças você faz nos arquivos e porque você está usando o S3 em primeiro lugar.

    

Answer 4

Há sshfs , que pode ser o que você está procurando. Minha compreensão superficial do sshfs é que é um pouco como usar montagens NFS criptografadas.