A configuração do Windows XP precisa carregar todos os drivers para determinar o hardware que você possui. Se não carregar um driver, não saberá como investigar esse dispositivo.
Ele não mantém todos os drivers - uma vez que ele sabe quais drivers são relevantes para o seu sistema, ele instala esses drivers. Todos os outros drivers (exceto alguns comuns, como armazenamento em massa USB, etc.) são descartados.