Você pode usar o comando FORFILES
para isso. FORFILES
só funciona no Windows Vista e versões posteriores.
forfiles /P "D:\Music\input" /C "cmd /c ffmpeg -i @file -acodec copy ..\output\@file.mp3"
Isso presume que você já tenha uma pasta chamada output
em D:\Music\