Você pode ativar / desativar suas chaves. Observe que você deve fazer isso como um usuário do IAM e NUNCA como o proprietário da conta (raiz).
No console do IAM, selecione o usuário. Escolha a guia "Credenciais de segurança" e role para baixo para ver suas chaves. À direita, na coluna "Status", deve haver uma opção para "tornar inativo".
Quando você clicar nele, a opção se tornará "tornar ativo".