Você está procurando um script de shell em lote. Para janelas você pode usar:
for %%a in ("C:\path\to\directory\*.mp4") do ffmpeg -i "%%a" -s 640x480 -vf "movie=watermark.png [watermark]; [in][watermark] overlay=main_w-overlay_w-10:main_h-overlay_h-10 [out]" "C:\path\to\output_directory\%%~na.mp4"
pause
Basta colar os itens acima no seu terminal depois de atualizar seus caminhos para os arquivos, é claro.
Boa sorte