MSDos não está realmente entendendo "% folder% \ out% 04d.jpg"
Porque ele vê essa variável:% pasta% \ out% em vez de% folder%. Se você escapar do% usando o caractere de escape: ^ ele deve funcionar corretamente.
Assim, seu arquivo batch se torna:
ffmpeg -i "%file%" -vf "fps=1/60,scale=960:-2" "%folder%\out^%04d.jpg"