O protocolo RFB (usado pelo VNC) não suporta áudio, então isso não é capaz de resolver o problema.
Qualquer aplicativo de visualização de área de trabalho remota não oferecerá uma boa taxa de quadros para assistir a vídeos.
Eu recomendo procurar em streaming a mídia em vez disso, há uma série de ferramentas disponíveis para fazer isso, como plex, e eu pessoalmente uso o VLC para mim mesmo.