O equivalente do Prompt de Comando do Windows é:
for %i in (*.mp3) do ffmpeg -f image2 -loop 1 -i picture.png -framerate 60 ^
-i "%i" -c:v libx264 -tune stillimage -c:a copy "%~ni.mp4"
Nota: Isso funcionará quando digitado de forma interativa, mas se você estiver executando como um script, precisará prefixar as variáveis com %% em vez de%.