Você pode usar o comando FORFILES para isso. FORFILES só funciona no Windows Vista e versões posteriores.
forfiles /P "D:\Music\input" /C "cmd /c ffmpeg -i @file -acodec copy ..\output\@file.mp3"
Isso presume que você já tenha uma pasta chamada output em D:\Music\