Usando o AWS CLI, você pode desativar o evento de acionamento.
A sintaxe do comando é
aws events disable-rule --name [name of rule]
Para encontrar o nome da regra, você visualiza todas as regras no console do CloudWatch. Você pode ter que abrir cada um para ver qual é a regra para o seu pipeline. Para encontrar mais diretamente a regra para o seu pipeline, você pode executar
aws events aws events list-rule-names-by-target --target-arn [arn of pipeline]
Para obter o arn do pipeline, você pode
aws codepipeline get-pipeline --name [name of pipeline]
e olhe para metadata.pipelineArn no resultado.