Eu acho que você está procurando algo como SMIL , embora a última vez que eu olhei que era amplamente sem suporte e com bugs.
Você pode encontrar o GStreamer em combinação com uma finalidade simples, mas geral, como a linguagem de programação, como, por exemplo, Python adequado às suas necessidades.