O desempenho do modo de vídeo provavelmente está relacionado aos gargalos do seu sistema. Por exemplo, o OpenGL normalmente roda em sua GPU, se a sua GPU é totalmente utilizada durante o jogo Assassin's Creed IV, então você pode obter um desempenho melhor do VLC usando a renderização da CPU. Por outro lado, se a sua CPU estiver completamente atrelada ao jogo, você pode realmente obter um melhor desempenho do OpenGL.
A sua melhor aposta será a experimentação nesta questão, experimente alguns modos de vídeo diferentes e veja qual lhe oferece o melhor desempenho, pode ser um sistema diferente para o sistema.