Eu mesmo tive a mesma pergunta, mas não consegui encontrar a resposta que queria.
Em vez disso, desenhei um diagrama que contém todas as partes relevantes, pensadas sobre cada parte em termos de:
- What does it need to do?
- Which resources does it touch/manage?
Então, para cada parte do diagrama, eu compilei uma lista de acesso do IAM que achei necessária e escrevi uma política específica que contém tudo o que seria necessário.
Depois, reproduzi a criação da pilha do CloudFormation, e ainda perdi algumas permissões, mas a maioria já estava coberta pela política que criei.
Espero que minha resposta ajude você.