Meu trabalho é construir sistemas de VoD comerciais grandes (> 1 milhão de usuários) e, a menos que você possa utilizar multicast / anycast e não usar um CDN, você tem apenas uma opção para ampliar seus sistemas de armazenamento e redes a carga máxima de E / S simultânea que você precisa.
Certamente, o caching local, como você alude, pode ajudar, mas eu sempre dimensiono nossos streamers para assumir zero caching. Obviamente, nossos casos de uso serão diferentes, mas se você tiver um catálogo de vídeos comparativamente pequeno, considere colocar seu conteúdo em volumes baseados em SSD e / ou armazenamento flash baseado em PCIe, como o FusionIO kit (existem outros fabricantes desse tipo de coisa nos dias de hoje, mas como FIO foram os primeiros no bloco, eles são os que eu conheço e confio melhor). Quando construímos minha primeira plataforma significativa desse tipo, acabamos usando literalmente dezenas de milhares de discos SAS de 2,5 GB de 72 GB apenas para garantir que tivéssemos capacidade de leitura aleatória suficiente, porque é disso que você precisa, a lógica diz que você se importaria mais sobre o desempenho sequencial porque o conteúdo de vídeo é apenas grandes arquivos, mas quando você tem tantas pessoas tocando vídeos diferentes de diferentes pontos de partida, esse tipo de cache praticamente sai da janela, você precisa do melhor desempenho de leitura aleatória que conseguir. Também é importante garantir que você tenha um caminho tão eficiente do disco para a porta de rede, que não há uma maneira fácil de otimizar isso, além de entender seus discos / controladores / barramentos / NICs e drivers.
As alterações no sistema de arquivos provavelmente não passarão por esse problema.