Junto com o que danjil disse ; você precisa garantir que seu cartão seja suportado. Infelizmente, até conhecer flash suporta apenas aceleração HW em placas nVidia, e somente com drivers suportados (eles devem suportar a API de aceleração vdpau).
Se você estiver usando gráficos ATI ou drivers de código-fonte aberto para qualquer placa que não ofereça suporte a essa API, provavelmente não obterá aceleração de hardware, mesmo no Flash 11.
No entanto, a Adobe disse no passado que tem planos para suportar o VA-API também, então esperamos que a espera termine logo.