Não, isso não é necessário. Essa é a diversão de usar drivers genéricos.
Apenas a placa gráfica pode ser um problema se você mudar de fabricante (nVidia < > AMD), mas isso é facilmente resolvido: remova o driver de exibição antecipadamente, se possível.