Você já tentou alterar o renderizador de vídeo no VLC? Além disso, acho que há uma caixa de seleção habilitar decodificação de hardware. Além disso, (pelo menos ao usar drivers de mesa do ppa otimizado) pode haver um pacote que permitirá que o nVidia VDPAU funcione com os cartões ati. Mais uma coisa, se você estiver realmente desesperado, compre um cristal de cristal Broadcom.