De acordo com antigas discussões que encontrei no site ffmpeg, não suporta unicode. Se é realmente uma aplicação ANSI, isso pode explicar por que não consegue lidar com caracteres acentuados.
Eu acho que sua melhor opção, se você não quiser se tornar um desenvolvedor de ffmpeg, é mudar o título da janela antes de iniciar o ffmpeg.
Aqui estão alguns produtos gratuitos que encontrei mas nunca usei:
- Capitão do Skrommel
- Trocador de títulos da janela
- Trocador de títulos da janela (outro)
Você pode precisar executá-los como administrador.