Você não quer realmente reproduzir um arquivo .VOB individual por meio do VLC, pois isso é apenas uma parte do conteúdo do DVD e incluirá itens como os fluxos brutos para os menus e outros. Um reprodutor de DVD precisa analisar os arquivos .IFO que informam onde os arquivos .VOB iniciam cada fluxo e também fornece a programação para os menus.
Basicamente, você quer reproduzir a pasta inteira - assim, no VLC, vá para Media, abra a pasta e ela deve ser reproduzida.
Observe que, devido à criptografia, você não pode simplesmente copiar todos os arquivos de um DVD usando o Windows Explorer e fazer com que eles sejam executados com êxito. Eles precisam ser descriptografados.