O vídeo MP4 estará usando alguma variante do espaço de cores YUV, assim como o VP9. PNG armazena pixels RGB. Então seu MP4 - > PNG - > O pipeline VP9 tem duas conversões de espaço de cores, ou seja, YUV - > RGB - > YUV Essas conversões não são matematicamente sem perdas.