Preciso fazer o download de 100 GB de arquivos (em cerca de 150 arquivos) em um período de sete dias antes que eles expirem. O download é limitado pela taxa pelo host, portanto, é muito mais demorado do que a taxa de transferência teórica com base nas velocidades normais da Internet. Eu tenho um script de comandos link - uma linha por arquivo.
Eu tive a idéia de girar automaticamente n instâncias do EC2, executando o comando e enviando por FTP os arquivos para um local central, depois desligando as máquinas. Como eu faria isso?
Eu não me importo se é o Linux ou o Windows.
Eu recomendaria usar uma das AMIs da Canonical em conjunto com o cloud-init
Procure a seção "Scripts de dados do usuário", na qual você pode usar o arquivo --user-data para iniciar automaticamente um script na inicialização. Assim, você pode simplesmente colocar todos os comandos que deseja executar no script e colocar "shutdown -h now" no final do script.
Eu usei o boto para escrever essas coisas antes. É mais fácil girar as imagens do linux e depois ssh nelas para que funcionem.
Não tenho certeza da melhor solução. Mas se você estiver fazendo isso regularmente e precisar de algo para iniciar e parar automaticamente suas máquinas, convém analisar este produto: link (com o aviso de que eu sou o CTO).
Vagrant com o provedor da AWS faz isso facilmente e é multiplataforma.
Quando o Vagrantfile for criado, você inicia a instância com vagrant up , efetua login nela com vagrant ssh e a destrói com vagrant destroy . Super fácil.