Você adiciona um controle de cache, infelizmente, no nível de item individual no S3. Eu não sei se você pode fazer isso no nível do balde.
No entanto, você pode fazer isso para vários itens de uma só vez usando uma ferramenta de terceiros, como o CloudBerry Explorer
Eu fiz isso para alguns itens, aqui está uma captura de tela do console da web da AWS:
o valor está em segundos.
O S3 também suporta controle de versão, mas eu pessoalmente não joguei com ele.
Em termos de Cloudfront, você só precisa mexer com ele para invalidar as versões antigas dos documentos. Ou seja, você alterou o arquivo index.html e precisa que o Cloudfront exclua imediatamente sua (agora) cópia desatualizada. Invalide o arquivo e os usuários que estiverem navegando no site receberão a cópia atualizada do S3.