(Eu estava prestes a enviar a resposta no stakoverflow quando você o moveu para ServerFault :-)).
A idéia básica é que você deseja ter diferentes servidores otimizados para fazer uma coisa muito bem. Ou seja Se você tiver um servidor de aplicativos executando código / estado de armazenamento, etc, você deseja otimizar seu hardware para essa finalidade - ou seja, boa CPU e muita memória.
Por outro lado, você não quer que seu servidor também use seus recursos para coisas mundanas como armazenar arquivos. Você pode ter outro servidor (de mídia) que tenha apenas um servidor mais simples que serve arquivos estáticos e que tenha um enorme canal de rede conectado a ele (já que é provável.
Isso também permite que você dimensione melhor - você pode dimensionar seus servidores de aplicativos, ou seja, as peças caras computacionalmente, separadamente de suas partes estúpidas (as partes que veiculam conteúdo). Dessa forma, por exemplo, se você tiver o mesmo número de usuários que, de repente, começar a gastar mais tempo em seu site e assistir vídeos mais longos, poderá aumentar o número de servidores de mídia sem precisar se preocupar com seus servidores de aplicativos.
Então, para lhe dar conselhos, sugiro que você dê uma olhada em sua infraestrutura, em seus prazos e no quanto você espera que seu site cresça. Se você acha que vai crescer por um fator de 10 ou 100, então pode valer a pena pensar em longo prazo, caso em que ter um serviço dedicado será uma boa ideia. Descubra como será difícil alcançá-lo e se você pode dar pequenos passos em direção a ele (ou seja, verifique se todas as mídias estão em uma pasta separada e se todos os seus links são programáticos - isto é, facilmente reposicionados em outro servidor etc.).