Você pode fazer isso, mas antes de chegar ao extremo, considere melhorar o desempenho do seu serviço existente, incluindo (talvez) a colocação de um proxy reverso de cache, como o Varnish. No momento em que você chegar ao ponto em que sua única opção é fazer proxy de algum tráfego para o S3, você provavelmente estará morto na água de qualquer maneira.
O que você pode querer considerar em vez disso é colocar algum conteúdo em um subdomínio separado (como maptiles.example.com
), apontando para S3 e alterando os links para esses ativos no código do site para referenciar esse subdomínio. Isso vai tirar um bom pedaço de carga da sua máquina.