Se realmente funciona com o mplayer:
mplayer -vo vdpau -vc ffh264vdpau somefile.mkv
no SMPlayer, deve ser tão simples quanto configurá-lo para usar o vdpau em Opções / Preferências / Geral / Vídeo . Defina o Driver de saída vdpau (ele deve estar lá na lista suspensa em uma versão recente, sem a necessidade de usar a configuração Definido pelo usuário ).
Como você instalou os drivers proprietários e tem certeza de que as bibliotecas necessárias para o vdpau estão instaladas?