O VLC tem integrado o Lua linguagem de script para permitir que os usuários façam coisas em momentos diferentes no pipeline de reprodução. Um dos pontos de extensão que o VLC expõe via Lua é chamado de extensões de lista de reprodução. Com esse tipo de extensão, você pode pegar o URL passado para o VLC e transformá-lo em um novo URL ou conjunto de URLs.
O VLC vem com algumas extensões Lua padrão, uma das quais é a youtube.lua extensão. Você pode ler o código por si mesmo, mas basicamente o script pega a URL do vídeo, puxa o HTML e o analisa para obter os metadados do vídeo e uma URL que ele pode usar para reproduzir.
Apenas como nota lateral, você pode ver os scripts Lua compilados que acompanham o VLC no diretório <VLC_INSTALL_DIR>/lua .