Obrigado a todos pela ajuda. Acontece que isso é extremamente simples. Tudo o que precisei fazer foi, na distribuição do CloudFront do beta.foo, adicionar o bucket do S3 de redirecionamento como uma origem e editar o comportamento padrão para usar essa origem em vez do endpoint do ELB. Não há necessidade de alterar o DNS ou mesmo forçar http- > https no CloudFront. O redirecionamento entrou em vigor imediatamente, mesmo quando o CloudFront estava sendo reimplantado.