Veja o que funcionou para mim:
ffmpeg -i animated.gif -movflags faststart -pix_fmt yuv420p -vf "scale=trunc(iw/2)*2:trunc(ih/2)*2" video.mp4
movflags - Esta opção otimiza a estrutura do arquivo MP4 para que o navegador possa carregá-lo o mais rápido possível.
pix_fmt - os vídeos MP4 armazenam pixels em diferentes formatos. Incluímos esta opção para especificar um formato específico que tenha compatibilidade máxima em todos os navegadores.
vf - os vídeos MP4 que usam o H.264 precisam ter dimensões divisíveis por 2. Essa opção garante que esse seja o caso.
Fonte: link