O filtro paletteuse espera que a segunda entrada seja a paleta. Em seu comando atual, como as entradas não são explicitamente rotuladas, o filtro indaga as entradas na ordem em que são especificadas. Então,
ffmpeg -v warning -i test.mp4 -i /tmp/palette.png -lavfi paletteuse -y test.gif