Sim. O CloudFront tem latências inferiores ao S3, mesmo quando a solicitação é originada de um local sem borda. Geralmente, o CloudFront responde dezenas de milissegundos mais rapidamente. Se você se importa com essas pequenas diferenças é uma questão separada.
Referências: