Se você adicionar vlc://quit
à lista de reprodução após o arquivo pretendido que deseja reproduzir, o VLC será encerrado após a conclusão da reprodução. Isso certamente é possível capturar a partir da linha de comando.
(Talvez seja isso que você realmente está tentando fazer: feche o VLC depois que a reprodução terminar e deixe o script continuar).