Eu finalmente encontrei algum truque para fazer isso. Não é propriamente com cvlc , mas com vlc :
vlc --qt-fullscreen-screennumber=1 -f video.mp4
Mas eu não estou 100% satisfeito, porque se eu interromper o vídeo, a GUI do VLC fica na tela secundária, o que eu preferiria evitar.