Você perde muito do benefício de mover os arquivos estáticos para o S3 se não quiser alterar os links, pois isso significa que você ainda precisará executar um tipo de proxy reverso para rotear os pedidos corretamente para o S3 ou o seu Instância do EC2, dependendo se é um arquivo estático ou não.
Dito isto, existem muitas receitas para ligar, por ex. nginx como um proxy reverso, por exemplo link . Você poderia, então, colocar o nginx em cada uma das suas instâncias EC2 com balanceamento de carga e no servidor S3 ou nos serviços locais, dependendo se o conteúdo é estático ou não.