Ao chamar seu comando de um shell, caracteres especiais como barras, ponto-e-vírgulas ou pipes precisam ser escapados ou citados corretamente.
Portanto, coloque o valor inteiro do filtro entre aspas:
ffmpeg -i e.mkv -af "compand=attacks=0:points=-80/-80|-12/-12|20/-12" -vcodec copy r.mp4