Se o vídeo for transmitido para sempre, você deve otimizá-lo na Web. Isso coloca um bloco especial do arquivo de vídeo na frente chamado de "moov atom", que é como uma tabela de conteúdos. Não tenho certeza por que, mas não está no início por padrão e pode aparecer em qualquer lugar. Para streaming de HTML, este bloco deve ser lido primeiro antes que o usuário remoto possa começar a visualizar o vídeo.
Para uma excelente explicação de nível médio sobre isso, consulte: link