Acho que a resposta atual não captura adequadamente a diferença. O Windows também tem a maioria dos drivers disponíveis (como USB Mass Storage ou HID). Eles residem em arquivos separados, é claro. Isso é muito semelhante à maioria dos builds de kernel Linux genéricos que têm seus drivers em módulos separados.
No entanto, o Windows criará uma instância de dispositivo separada para cada dispositivo, que é identificado pelo local em que está conectado (muito importante) e pelo próprio dispositivo. Este processo é o que leva todo esse tempo. Depois que a instância do dispositivo for registrada, adicionar e remover é tão rápido quanto no Linux.
tl; dr: O processo inicial para associar um dispositivo a um driver é lento no Windows. Não há nada que você possa fazer sobre isso.