Por que não posso transmitir o mkv do meu servidor Debian executando o ffserver?

Question

Eu tenho um servidor Debian Linux com um monte de arquivos mkv que eu gostaria de reproduzir de qualquer lugar sem baixar diretamente os arquivos. Em outras palavras, gostaria de transmiti-los.

Eu tentei usar o ffserver do ffmpeg, mas não consegui fazê-lo funcionar. O problema era que ele não mostrava o vídeo, e o fluxo seria interrompido após cerca de 18 segundos. Esta foi a configuração que usei para o ffserver para esse experimento:

Port 5004
BindAddress 10.0.0.1
MaxHTTPConnections 2000
MaxClients 1000
MaxBandwidth 1000
CustomLog -
NoDaemon

<Stream stream.mkv>
        Format h264
        File "clip.mkv"

        VideoCodec libx264
        VideoFrameRate 30
        VideoBitRate 512
        VideoSize 320x240
        AVOptionVideo crf 23
        AVOptionVideo preset medium
        # for more info on crf/preset options, type: x264 --help
        AVOptionVideo flags +global_header

        AudioCodec aac
        Strict -2
        AudioBitRate 128
        AudioChannels 2
        AudioSampleRate 44100
        AVOptionAudio flags +global_header
</Stream>

Como posso corrigir esse problema?