Coloque o ss antes de video.mp4 . Atualmente, ele é interpretado como uma opção de entrada que se aplica ao arquivo PNG.
Este é o meu código
ffmpeg -hide_banner -i video.mp4 -ss 00:00:10 -y -i palette.png -filter_complex "fps=10,scale=320:-1:flags=lanczos[x];[x][1:v]paletteuse" -t 15 output.gif
Se eu definir -ss como 0 ou omiti-lo completamente, a conversão funcionará, mas falhará assim que eu especificar qualquer valor. O vídeo em questão tem duração de 1 minuto.