Não. Não.
Se funcionar bem, então deixe-o. Não há como um driver "melhorar a qualidade do som", especialmente se você tiver baixa demanda (ou seja, não usar bancos de dados, amostrador, etc.)
Poderia até mesmo ser que o driver que você instalou faça mais mal do que bem! Menos apps, menos dores de cabeça.
Apenas não faça isso.