Você está especificando dois filtros - vf
é o mesmo que filter:v
:
O último irá sobrescrever o primeiro, então você acaba apenas escalando o vídeo. Use isso em vez disso:
ffmpeg -i input.mp4 -filter:v "setpts=PTS/20,scale=160:-1" -t 60 output.gif
Aqui você especifica as entradas da cadeia de filtros separadas por ,
.