Você precisa especificar as coordenadas da janela + largura e altura.
Linha de comando VLC : seção Entrada de tela
Capture 640 x 480 pixels no canto superior esquerdo:
"C:\Program Files\VideoLAN\VLC\vlc.exe" --screen-width=640 --screen-height=480