É muito raro que os drivers de dispositivos causassem lentidão. Certamente, os bem incorporados e bem testados são extremamente improváveis (a menos que você tenha um problema de hardware que esteja causando isso), portanto, se precisar de algo, procure drivers de dispositivos de terceiros e os desinstale, como fez no seu caso. Por outro lado, bugs com drivers gráficos (isto é, Nvidia e AMD) são extremamente comuns, e é por isso que as empresas constantemente mantêm os drivers atualizados. Portanto, se o seu computador estiver lento e você suspeitar que é um problema de driver, a primeira coisa a fazer é atualizar o driver gráfico.