Eu não estou muito familiarizado com o ffmpeg, mas do seu post eu posso presumir que os caracteres '[]' são de alguma forma significantes. Talvez a maneira mais simples de lidar com isso seja simplesmente remover os colchetes renomeando o arquivo (os colchetes não são significativos para 'mv'):
mv '[old_video].mkv' old_video.mkv
ffmpeg -i old_video.mkv -vf subtitles=old_video.mkv -acodec copy new_video.mp4
Você pode sempre colocá-los de volta após a conversão ...