Eu tive um problema semelhante. Aqui está a minha solução:
Sempre que eu reproduzia qualquer arquivo de vídeo usando o VLC (ver.2.2.4 Weather Wax), apenas o som começava. O quadro de vídeo seria exibido fora da janela do aplicativo, mas seria preto ou branco. Se eu parasse o jogo (clicando no botão STOP) e depois reiniciasse, o vídeo seria exibido normalmente.
Além disso, o Windows cairia para 'Básico' do tipo de exibição 'Aero'.
Eu observei que isso aconteceu somente quando executei o VLC. Se eu reproduzisse o mesmo arquivo de vídeo em qualquer outro player como o mpc-hc (eu nunca usei o WMP), o Windows continuaria no esquema Aero e nunca cairia no Basic.
Isso indicou para mim que o VLC foi mal configurado de alguma forma - um palpite que se mostrou correto no meu caso.
Depois de alguma pesquisa na Internet, descobri que, se a saída do VLC para o Direct X, só então esse problema ocorreu.
Mas então eu notei que o OP já havia tentado mudar o módulo de saída de vídeo do VLC para OpenGL, mas não estava feliz com isso.
Então eu tentei os outros módulos de saída de vídeo listados no menu suspenso disponível na minha instalação do VLC.
Por avaliação & erro, achei que selecionando saída de vídeo do Windows GDI resolveu o problema , pelo menos para mim. Agora, meu Windows 7 Professional NÃO cai do Aero Glass para o Basic nem a minha qualidade de reprodução de vídeo é prejudicada!