Atualmente, tenho backups diários dos meus arquivos no upload para o bucket do S3 usando o comando aws s3 mv , por exemplo:
aws s3 mv $webroot/backups/db/ s3://my-backups/$date/db
Tudo funciona, exceto que recentemente meu host (MediaTemple) começou a desabilitar meu servidor automaticamente, porque, aparentemente, esses envios começaram a atingir alguns limites de bytes de tráfego por segundo que estão em vigor em todos os seus servidores.
Existe alguma maneira de limitar a largura de banda do aws s3 mv usando parâmetros ou opções de configuração aws?
Eu entendo que existem alguns utilitários Linux de terceiros que podem fazer isso. Ou seja Acelerar ou gotejar. No entanto, gostaria de evitar software adicional, se houver uma maneira integrada de fazer isso com as próprias ferramentas da Amazon.
O comando mv não possui essa opção para limitar a largura de banda. Você pode ver a lista completa de opções aqui:
Existem alguns valores de configuração que você pode personalizar para controlar os comandos de transferências do S3 (cp, sync, mv e rm).
Por exemplo, definir o valor de max_concurrent_requests para um valor menor que 10 (que é o padrão), fará com que ele consuma menos recursos. Dê uma olhada no link abaixo e tente ajustar os valores e veja se isso ajuda.
Tags amazon-s3