Você pode usar o OBS Studio link
Aqui está o vídeo do youtube que faz o que você pediu link
É possível executar a VM e, em vez de enviar a imagem para o monitor, codificar a tela da VM como fluxo de vídeo x264 e enviar fluxo pela rede?
PS Eu tenho o aplicativo OpenGL que roda no Linux e desejo transmitir o vídeo gerado pelo aplicativo.