Configurando scripts no Amazon EC2 Cloud

3

Atualmente, estou executando alguns scripts perl e python em um PC com Windows e gostaria de migrar para os servidores do Amazon EC2 que executam o LINUX de 64 bits. Os scripts são scrapers básicos da web que vão para uma variedade de sites, obtêm dados e salvam diariamente como arquivos csv.

Eu gostaria de instalá-los na nuvem e executá-los de maneira automatizada para que eles sejam executados sem a minha intervenção. Além disso, como não desejo perder todos os dados se a instância falhar, também devo fazer o upload dos arquivos csv para o Amazon S3.

Alguma ideia de como posso fazer isso? Eu não sou muito versado em LINUX nem conheço Perl / Python também. Qual é a melhor maneira de eu lidar com isso?

    
por racket99 02.01.2011 / 22:39

5 respostas

2

Se tudo o que você está fazendo é raspar websites, sugiro uma solução alternativa:

Não use o Amazon EC2. O EC2 requer um nível de habilidade além de simplesmente poder administrar um sistema operacional no estilo unix. O EC2 também assume que você pode lidar com situações sozinho, não há ninguém para salvá-lo. Eu entendo que atualmente o EC2 está livre para novas inscrições para os indivíduos, mas você está acertando um prego final com uma britadeira pneumática.

Em vez disso, use um serviço de hospedagem compartilhada que ofereça suporte a perl, os descritos no útil link seriam bons. Os provedores de hospedagem compartilhada listados são todos relativamente baratos (< $ 10 / mês) e oferecem a você a oportunidade de usar o CPAN. Dessa forma, você tem mais alguém preocupado com o sistema operacional do servidor e só se preocupa com seus scripts. Em seguida, aprenda sobre como usar o crontab unix para executar seu script em um cronograma ou aprenda algo como POE ou AnyEvent para tornar seu scraper um serviço (pesquise CPAN nos dois últimos).

Quanto ao armazenamento, você pode comprar um pacote de backup para sua hospedagem compartilhada e deve ter muito espaço livre com o seu pacote (geralmente pelo menos 10 GB). Se você precisar fazer backup para o S3 por algum motivo específico, você pode fazer isso também, há até mesmo módulos perl no CPAN para ajudar com isso. Para pontos de bônus, sugiro que você explore o Dancer ou o Catalyst para disponibilizar seus escaravelhos a partir de um navegador da Web e aprenda o perl webdev no processo. Tenha em mente que esses pacotes de hospedagem compartilhada geralmente incluem transferência ilimitada e armazenamento quase ilimitado, o EC2 não inclui essas coisas.

Se a hospedagem compartilhada não funcionar e você quiser gastar mais dinheiro, sugiro linode.com como uma etapa intermediária. Você é responsável pela sua instalação do Linux, mas você tem mais backup de suporte do que com o EC2.

O resultado é que o EC2 / S3 é uma ferramenta muito útil, mas na verdade é apenas para implantações de produção ou indivíduos muito sérios que tiveram experiência com implantações de produção. Porque parece que você não tem essa experiência, eu recomendo que você siga outra rota.

Boa sorte.

    
por 02.01.2011 / 23:38
1
  1. Encontre alguém que conheça o Linux, o Perl e o Python.
  2. Dê-lhes dinheiro.
por 02.01.2011 / 22:46
1

Não sei se o EC2 é a ferramenta certa para o trabalho. Talvez dê uma olhada no link que basicamente permite que você execute apenas métodos únicos na nuvem.

    
por 03.01.2011 / 01:48
0

Se você realmente deseja os dados no S3, fazer o upload para o S3 faz sentido. Se o seu objetivo é apenas manter os dados existentes, uma alternativa é usar o Elastic Block Storage da Amazon para ter uma unidade montada persistente disponível.

    
por 02.01.2011 / 22:47
0

Você pode usar um dos Aplicativos de gerenciamento na nuvem para fazer isso por você por meio da interface do usuário ou enviar uma solicitação de suporte para que um administrador de sistema faça isso para você - se você quiser usar a AWS. Confira cloudkick.com e link (disclaimer: Eu trabalho em Minas Digitais).

    
por 09.01.2011 / 14:30