Isso tem que ser feito manualmente. Por dois minutos, a contagem de quadros é de 3000 (@ o padrão de 25 fps).
Use
ffmpeg -i img.jpg -vf "zoompan=z='1+on/3000*0.2':d=3000" -t 120 output.mp4
-loop
não deve ser usado ao usar o zoompan com uma única imagem.