Isso não é possível no momento, o FireFox não tem suporte a vaapi (até onde eu sei). Se tivesse, você teria que instalar o plugin h.264ify para assistir ao YouTube, porque não há suporte de hardware para a decodificação do vp9 (o codec que o YouTube usa).