Procurando por conjuntos de software para delegar tarefas intensivas da CPU em instâncias sob demanda do EC2 [closed]

Question

Estou procurando um projeto que simplifique o gerenciamento de instâncias sob demanda do EC2 para execução de scripts. Aqui está o meu cenário.

• o script aguarda novo trabalho
• meu script lê os parâmetros de execução
• executa o script python externo para processamento a longo prazo
• o script manipula a saída do script python
• faz um loop no início (goto 10)

Em vez de executar o script python intensivo da CPU no mesmo servidor, gostaria de delegá-lo a uma instância do EC2 sob demanda. Estou procurando um projeto para me ajudar com o seguinte:

1. forneça script criado sobre ec2, por exemplo, gerenciamento
2. suponho que, uma vez que a instância esteja ativa, ela pode ser inserida e configurar o ambiente necessário, como o arquivo de dados de upload
3. execute a execução do aplicativo nesta nova instância
4. coletar a instância do formulário de resultados e encerrar a instância

Sei que tudo isso pode ser feito por meio de scripts insanos, mas prefiro usar o software existente para isso. Sugira um pacote de software / bibliotecas ou ferramentas que eu possa usar.

    

Answer 1

Existem várias bibliotecas disponíveis para diferentes linguagens de programação que podem ajudá-lo a interagir com a AWS:

• boto (Python)
• right_aws (Ruby)
• nevoeiro (Ruby)

HTH

    

Answer 2

Eu tive sorte usando o boto (uma biblioteca de controle Python da AWS) para esse tipo de coisa.

    

Answer 3

Como um bloco de construção, dê uma olhada no sistema de filas do AWS SQS. Seus scripts podem adicionar "jobs" a ele e suas instâncias do EC2 irão lê-lo a partir daí.