Estou tentando usar o s3fs em um servidor EC2, mas ele é muito lento. Passei as últimas 5 horas fazendo upload de 100 MB de arquivos pequenos.
Existe algo que eu possa fazer para melhorar o desempenho ou é algo relacionado ao S3fs? Se não, qual é a alternativa que eu poderia usar?
O S3FS pode não ser a melhor opção para uma grande quantidade de arquivos menores. A sobrecarga com o S3FS também é bastante alta. Sugiro usar algo como S3Curl
Você pode até obter transferências paralelas. Basta lembrar que nunca será rápido como o EBS / armazenamento local.
Se você precisar armazená-lo como 'montável', as únicas alternativas ao S3FS que eu conheço são S3Backer ou s3ql
Eu apenas comparei riofs em comparação com s3fs. Meu caso de teste era um script bash relativamente simples que rodava pngquant em cada .png encontrado. Em um testbucket com ~ 70 imagens, das quais ~ 20, onde png (espalhadas por vários subdiretórios, o que provavelmente atrasa as coisas), os resultados são os seguintes:
s3fs: 3m54
riofs: 15,9s
Então, para este teste, o riofs é ~ 15x mais rápido! A instalação também foi muito direta, embora os documentos sejam um pouco concisos.
Em relação ao fato de que o script ainda levou 15.9s: não é muito eficiente, também executar pngquant em png é um processo intensivo de CPU.
Apenas adicionando riofs ao mix. Não pude ver nenhum benchmark por enquanto, mas há uma emissão / solicitação que qualquer um pode fazer.
Eu usei [1] e é muito bom. São muitos comandos e torna o acesso a aws e s3 muito mais fácil.
Eu comparei s3fs com riofs e quase mudei por causa de um desempenho notavelmente melhor. O problema é que o riofs ainda não é atualizado para as assinaturas v4, o que significa que não funcionará com os buckets de Frankfurt ou China s3. Segundo o proprietário, uma atualização está a caminho. Se você não usa Frankfurt ou China, o riofs é uma opção melhor para baixo.
Isso é gentil, mas pode ajudar quem chega aqui.
Estou usando o aws cli e seu funcionamento é muito bom (3 Mb / s)
pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/
Acabei de lançar a v0.0.1 do link que foi parcialmente motivado por problemas de desempenho em s3fs. A aceleração da criação de arquivos é de 3-6x e o tempo até o primeiro byte é de 58x. Feedback bem-vindo!
Tags amazon-ec2 s3fs