A resposta é principalmente confiabilidade e desempenho. O SLA do CloudFront é de apenas 99,9%, enquanto a confiabilidade do mundo real pode ser maior do que a da Amazon, a verdade é que você realmente não tem garantia de que seu site estará disponível mais do que isso. Você pode pensar que 99,9% é bom, mas compare com o S3 em 99,999999999%. Um servidor da Web balanceado com carga multi-AZ bem arquitetado pode ser mais durável.
No que diz respeito ao desempenho, especialmente no caso de uploads em que o usuário que envia os dados já está muito próximo da região da AWS para a qual os dados serão enviados, o salto extra pode piorar a latência.