Não, pode até ser ruim.
Remover um driver em vez de substituí-lo pode deixá-lo com um computador que não está funcionando corretamente.
Presumivelmente, os sistemas operacionais modernos vêm com uma quantidade decente de drivers que funcionam "suficientemente bem", o que não é um problema tão grande quanto no Windows95 / 98.