Parece que há um bug de longa data no VLC no manuseio de vídeo RV24 que pode ser a raiz de seu problema. Sugiro usar um formato de entrada diferente, se puder.
Para descobrir se você pode alterar o formato de entrada, abra a janela de mensagens no menu Ferramentas e aumente a verbosidade para 2. Agora, abra o seu fluxo e, assim que ele for iniciado, pare-o. Volte pelas mensagens de log procurando algo nos seguintes termos:
dshow debug: EnumDeviceCaps: input pin accepts chroma: RV24
Se você vir alguma coisa além do RV24 (talvez YUY2), deverá clicar em "Opções avançadas" ao configurar o fluxo e definir o "Formato de croma de entrada de vídeo" como um dos outros valores listados no %código%. Se isso não lhe der nenhuma outra opção, você pode estar sem sorte.