O que você precisa é de um software de mixagem de vídeo para fazer isso, o NeuroMixer pode ser o que você está procurando.
Eu percebo que o VLC é o canivete suíço de multimídia e vídeo, mas eu tenho um problema complicado que pode ou não ser resolvido por ele.
Suponha que eu queira sobrepor vídeo (ou uma imagem) ao vídeo de uma placa de captura e, em seguida, enviar a saída para uma placa gráfica secundária em tempo real. Isso é possível com o VLC? Pense em sobreposições gráficas para a produção de TV, mas para colocar nas telas do projetor durante um evento.
Eu também não me oponho a usar algo diferente de VLC para isso, mas o que eu usar deve suportar uma grande variedade de formatos de vídeo.