Eu uso o CoreAVC + Haali + Media Player Classic no Windows 7 x64 sem problemas. Provavelmente existe outro codec que está tendo prioridade sobre o CoreAVC. Se você tiver ffdshow instalado, entre nas opções um suporte definido para h264 para desativado. O Media Player Classic também tem opções para definir a prioridade do codec.