Para jogar vlc na linha de comando sem iniciar um ui, parece esta página tem o que você precisa.
Especificamente, acho que você quer este comando:
vlc --intf dummy vcd://
Isso especifica uma interface fictícia que nunca lança nada de fato. Eu não posso testar isso porque estou longe da minha caixa de linux agora, mas aqui está o comando completo que eu acho que você está procurando:
vlc --intf dummy <stream>