Primeiro de tudo,
-vf precisa ser especificado após a entrada para afetá-lo, e parece ser a única razão pela qual o avconv trabalhou para o segundo comando: ele deve ter descartado seu filtro sem nem analisá-lo. Se você mover o argumento depois de -i , isso resultará no mesmo erro que ffmpeg deu a você. Versões mais recentes de ffmpeg realmente tratam isso como um erro.
Agora, o motivo pelo qual nenhum dos comandos está funcionando é simples: nenhuma das versões que você está usando suporta o filtro scene .
Além disso, o filtro scene ainda parece estar ausente na ramificação principal de avconv a partir de agora Portanto, avconv simplesmente não suporta isso.
Quanto ao ffmpeg , o filtro foi introduzido em r7286814 que não foi incluído na sua versão.
Por isso, você precisa de obter uma versão atualizada se quiser usar o filtro.
Uma vez instalado, mova -vf após -i e execute seu comando para obter seus resultados.
$ ffmpeg -i somevideo.mp4 -vf "select='gt(scene,0.9)'" -vsync 0 -f image2 /tmp/thumbnails-%02d.jpg