Copiar um arquivo e fazer streaming são duas coisas completamente diferentes.
A latência é um dos maiores assassinos de fluxo. Execute um ping para o NAS e veja quanto tempo demora para responder ... execute-o por alguns minutos ... O tempo de resposta é consistente?
Você tem um adaptador Thunderbolt para Ethernet? Experimente-o através de ethernet e veja se o mesmo problema ocorre. Wifi introduz muita latência.
Em seguida, descubra a taxa de bits do vídeo que você está tentando transmitir. Em VLC- > Janela - > Informações de mídia mostrarão a taxa de bits do arquivo. Você também pode abrir a janela Erros e Avisos no mesmo menu e ficar de olho nisso.
Outra maneira de monitorar a taxa de bits é observando a janela de atividades da rede em "Activity Monitor" (/ Applications / Activity Monitor).
Faça um teste de velocidade com o BlackMagic Disk SpeedTest sua unidade NAS para ter uma idéia da conistência e da largura de banda disponível.
Qual versão do OSX você está executando? A AFP tem sido tradicionalmente mais rápida, mas o OSX 10.9 viu a implementação do SMB2 que melhorou drasticamente o desempenho dos dispositivos que podem suportá-lo.