Você não tem a seqüência de argumentos correta. De acordo com a manpage:
open [-e] [-t] [-f] [-W] [-R] [-n] [-g] [-h] [-b bundle_identifier] [-a application] file ... [--args arg1 ...]
Em seu comando, você está dizendo open
para abrir o VLC, depois para abrir o seu vídeo, mas não para abrir o vídeo com VLC.
Em vez disso, use:
open -a /Users/sandy/Documents/vlc/VlC.app /Users/sandy/videoFiles/myVideo.mp4
Note que você não precisa descer para o conteúdo do pacote com open
.