O VLC agora suporta GPU para h.264, com um pouco de configuração extra, confira o wiki .
O h.264 (e o MPEG2) ainda serão controlados pela CPU, mas eu acho que um Phenom II de 3 GHz funcionaria muito bem. Eu acho que há um problema diferente com o seu sistema. Meu computador principal é um POS PIV D 3 gHz e só tem problemas se eu estou executando outro trabalho pesado simultaneamente (isso é com a funcionalidade extra do GPU do VLC)
Talvez haja e problema com o seu x config? xorg na minha máquina às vezes leva 50% + no ideal ... Eu não me incomodei e apenas reiniciei o KDM quando isso aconteceu.
Você também pode, se a prioridade do seu player for um dos seus núcleos, não precisar compartilhar:
boa sorte!