Você está pedindo muitas coisas. Você também terá que fornecer mais informações sobre qual sistema operacional está sendo executado, mas acho que você deve ser capaz de abrir duas instâncias do VLC de cada vez e ter uma para gravar a webcam e a outra, o monitor.
Para enviar em JPG, retirado da ajuda da linha de comando VLC :
--scene-format=<string> Image format
Format of the output images (png, jpeg, ...).
No entanto, acho que isso só funciona em máquinas baseadas em Unix. É muito ruim para os usuários do Windows, porque há uma infinidade de opções documentadas nesse link.
Não há "serviço" VLC para Windows. Você apenas terá que minimizá-lo. Configurar a gravação do Windows é muito fácil no entanto. Veja a ótima documentação deles: link
Além disso, se você for fazer essa gravação a partir do terminal em uma máquina baseada em Unix, precisará descobrir quais são os seus dispositivos para configurá-los adequadamente. Como não conheço seu hardware, não consigo descobrir exatamente os comandos. Olhe para os dois links acima se você está empenhado nessa abordagem. Eles têm uma infinidade de boas informações.