Eu não sei exatamente se isso vai ajudar, mas eu estava comparando players de mídia recentemente e você pode querer dar uma olhada no mpc-hc (pode ser o que você baixou), é suposto fazer melhor em máquinas mais antigas, porque ele tem melhor suporte ao DirectDraw e usa o DirectDraw por padrão. Não me cite sobre isso embora.
Estou vendo a configuração avançada do VLC agora, e a minha foi definida como Automática, mas o DirectDraw está disponível como configuração - não faria mal tentar. Janela de configurações do VLC
Eu também não tenho muita experiência com o OSX ou Bootcamp, mas considerando que é um Macintosh no coração e não sai da caixa rodando o DirectX, você pode tentar a configuração experimental do OpenGL.