Sua sintaxe está malformada. A sub_charenc
é uma opção de decodificador e se aplica quando o arquivo de legenda é alimentado como uma entrada regular. O filtro de legendas, no entanto, recebe sua entrada diretamente.
Use
ffmpeg -i input.mkv -vf subtitles=sub.srt:charenc=CP1252
-s 720x404 -c:v libx264 -level 3.1 -tune film -preset slow -crf 19
-c:a aac -ar 48000 -b:a 128k -ac 2 output.mp4
Você pode ter que citar a página de códigos, ou seja, 'CP1252'
ou "CP1252"