Não, a desinstalação dos drivers não tornará seu touchpad permanentemente inutilizável. Muito provavelmente, se você quiser usá-lo novamente no futuro, precisará reinstalar os drivers para ele.
Como Indrek disse, porém, é provavelmente desnecessário. Basta conectar um mouse e ignorar o touchpad.