Existem mais duas opções para definir.
ffmpeg -i input.flac -af silenceremove=1:0:-50dB:stop_duration=0.5:leave_silence=1 output.flac
Como isso se mostra ineficaz, o método mais bruto é adicionar meio segundo de silêncio,
ffmpeg -i input.flac -af "silenceremove=1:0:-50dB,adelay=500|500" output.flac
Isso adicionará 500 ms de silêncio no início a um fluxo estéreo.