O seu problema é que, provavelmente, o exemplo que você está vendo é para streaming de um arquivo e seu comando de exemplo está usando a entrada screen://
. Para que o dispositivo screen://
funcione, primeiro é necessário codificar o vídeo. Então tente algo assim:
vlc -I rc screen:// --sout=#transcode{vcodec=h264,vb=800,scale=0.25,fps=10}:rtp{dst=127.0.0.1,port=4444,sdp=rtsp://localhost:8080/test.sdp}
vlc -I rc rtsp://localhost:8080/test.sdp