Parece que o seu CPU / GPU não é poderoso o suficiente para lidar com vídeo HD. A placa gráfica em suas imagens, uma GeForce 6100, foi lançada em 2005 e é antiga.
O Flash usa a GPU para acelerar a decodificação de vídeo quando disponível. Portanto, atualizar seu GPU parece ajudar e pode ajudá-lo a reproduzir vídeo HD fora do Flash também.
No entanto, se você estiver usando um sistema da era de 2005, sua CPU provavelmente é de um único núcleo de 2 Ghz (EDIT: parece que eu estava errado!) e você provavelmente está trabalhando com 2Gbytes ou RAM ou menos. Você pode ter problemas com vídeo em HD, não importa o que você faça devido a isso.
Outra coisa que você pode experimentar é um aplicativo chamado Minitube , que reproduzirá vídeos do Youtube sem usar o player de vídeo do Flash (embora eu não tenha tentando reproduzir vídeos HD). Eu sou capaz de reproduzir vídeo em um netbook Asus de 900Mhz com 1GBytes de RAM com pouco problema (no Linux, devo acrescentar).