AFAIK não há nada de especial nisso. Em seu DNS público, basta criar "seu-nome.seu-domínio.com" como CNAME para "seu-bucket-nome.s3.amazonaws.com" e ter o nome da pasta correspondente ao seu nome de domínio .
CNAME record for my Amazon S3 domain, so have nicer URLs
Eu suponho que você tenha seu site hospedado em outro lugar. Dentro do HTML existem links para imagens, vídeos etc hospedados no S3. Você gostaria que esses links parecessem mais agradáveis.
Is this a reasonable thing to do?
Bem, para alguns. Eu não acho que muitos usuários finais irão procurar em seu HTML ou perceber o que o navegador deles está carregando - e se eles fizerem isso, eu não acho que eles se importem.
Are there any drawbacks?
Mais um ponto de falha (sua configuração de DNS), mas provavelmente é insignificante, pois você já tem esse mesmo problema no seu site principal. Uma desaceleração (bastante) pequena para seus usuários, já que eles precisam fazer uma pesquisa adicional de DNS agora. Primeiro para o seu CNAME (fx static.yourdomain.com) e depois para o S3. Isso é talvez ~ 100 ms em média, não muito.
Uma nota rápida: parece que você já está usando o S3. Se funcionar bem, tudo bem. Se o seu público é um pouco global, e você tem um tráfego justo, então você poderia usar uma Content Delivery Network. É claro que a própria Cloudfront da Amazon vem à mente, mas não é o CDN mais rápido do mercado. Para ter uma ideia da velocidade de vários CDNs, você pode usar as ferramentas de teste do Cloud Harmony em alguns locais. Para arquivos pequenos (CSS, JS, imagens), preste atenção especial à latência. A taxa de transferência de vídeo é mais importante, mas isso raramente é um problema para um CDN.