P: Se eu acessar meu URL de distribuição do Cloudfront, devo ver minha versão em cache do site, correto?
A: Não.
Você configurou o CloudFront para armazenar em cache o S3. S3 contém suas imagens, não seu site. Se você quiser ver seu site, precisará solicitar ao seu servidor da Web.
Se você quiser que o CloudFront armazene em cache todo o seu site, é necessário configurá-lo com o servidor da Web como a origem da distribuição. Você ainda pode usar o descarregamento do S3, mas a fonte será o servidor da Web, não o S3. Você terá apenas uma distribuição do CloudFront.