RTNETLINK answers: No such file or directory
é a maneira de tc dizer que não pode encontrar algo - neste caso: muito provavelmente o agendador de htb. Para testar e ter certeza de tentar
modprobe sch_htb
Você provavelmente receberá um erro.
E isso provavelmente significa que o seu provedor de VPS não está usando os kernels padrão do upstream do Debian. Eles geralmente fornecem uma lista de kernels para escolher, mas eu esperaria que todos fossem aleijados como o que está sendo executado. Você não poderá alterar o kernel que está usando, mas existe a chance (embora não grande) de não ter desabilitado o carregamento de módulos no kernel. Nesse caso, você pode tentar construir e instalar o módulo htb. Você pode tentar usar ModuleAssistant para isso.
Se tudo mais falhar, entre em contato com o suporte ao cliente.