Sim, você pode.
Q. Does Amazon CloudFront work with non-AWS origin servers?
Yes. Amazon CloudFront works with any origin server that holds the original, definitive versions of your content, both static and dynamic. There is no additional charge to use a custom origin.
Observe que, se o seu provedor atual cobrar pela largura de banda, você ainda pagará por alguma largura de banda, conforme necessário, para entregar o conteúdo para o CloudFront conforme solicitado. (O CloudFront não busca conteúdo do seu servidor, a menos e até que um visualizador realmente solicite esse conteúdo específico.) Quando seus servidores estão no EC2, a cobrança pela largura de banda do EC2 para o CloudFront é de $ 0.