Sua melhor aposta seria o NTFS, já que é muito difícil instalar drivers no Windows para outros sistemas de arquivos.
Agora, o Linux e o OSX podem gravar no sistema de arquivos NTFS. A maioria das distribuições Linux agora vem com ntfs-3g que está disponível para o OSX. Tanto quanto me lembro, a partir do Snow Leopard, o OSX ainda tem suporte a gravação NTFS.
EDIT: minha resposta aborda o título da sua pergunta "melhor sistema de arquivos para uso com o sistema operacional mutil"
No entanto, o corpo da questão pode ser entendido de uma maneira diferente? Você quer configurar um servidor que irá compartilhar arquivos de vídeo na rede?
Neste caso, usei com alegria XFS (me comportei bem com arquivos grandes) e JFS no passado antes de ext4 existe - hoje eu iria apenas ext4 como é mais difundido.
Em seguida, você compartilharia os arquivos na rede usando o Samba .