Solte / Trunque a tabela DynamoDB com o AWS Data Pipeline

Question

Eu configurei um Data Pipeline que importa arquivos de um bucket do S3 para uma tabela do DynamoDB, com base no exemplo predefinido. Eu quero truncar a tabela (ou soltar e criar um novo) toda vez que o trabalho de importação for iniciado. É claro que isso é possível com o AWS SDK, mas eu gostaria de fazer isso apenas usando o Data Pipeline.

É possível fazer isso?

Obrigado por qualquer ajuda

    

Answer 1

Não tenho certeza se você ainda precisa realizar essa operação desde que você a solicitou há muitos meses, mas devido à falta de informações na Internet sobre esse assunto, decidi criar um tutorial e postá-lo aqui para ajudar outras pessoas que estão enfrentando a mesma situação.

Isso é o que funcionou para mim.

Basicamente, você precisará do seguinte:

• Balde S3 (onde você carregará um script de shell a ser executado)
• AMI EC2 (que executará o script acima)
• Um pipeline (que já importa dados do DynamoDB para um bucket S3)

Se você já tem todos eles, então estamos prontos!

Siga estas etapas:

1. Adicione uma atividade e nomeie-a como "CleanTableJob"

Em CleanTableJob, defina as configurações de acordo com isso: (On Runs on - > Select New Resource e nomeie-o como CleanDynamodbTableResource)

Em CleanDynamodbTableResource, defina as configurações de acordo com isso:

No seu bucket do S3 você pode fornecer tudo o que lida com a exclusão de dados no DynamoDB da seguinte forma:

java -jar /home/ec2-user/downloads/dynamodb_truncate_table-1.0-SNAPSHOT.jar

É isso:

Espero que ajude vocês a sair