Ok, encontrei a causa do problema. Para quem está com o mesmo problema. Na verdade, o problema não está relacionado ao nginx, ao web player (player JW no meu caso) ou aos codecs de vídeo que você está usando. É o arquivo de vídeo em si.
Encontrou este no Guia de resolução de problemas do JW Player:
I can't seek: I'm using an MP4 file
If your MP4 files cannot be seeked before they are completely downloaded, you will have to fix the MOOV atom (it contains the seeking information) located at the end of your video. Use this little application to parse your videos and add the necessary cue points.
O nome do aplicativo é QTIndexSwapper 2 .