Eu não sei se o VLC suportaria isso diretamente, mas se você estiver usando um ambiente Unix, você pode executar vlc com
chroot /sterile/directory/media-files vlc <options>
para que o vlc possa ver apenas os arquivos no diretório /sterile/directory/media-files
. Então, se um usuário abrisse qualquer diálogo, ele ainda poderia interagir com os arquivos que o VLC conhecia.