Este é um "recurso" por design, conforme MS KB 2401954 - A porta USB permanece ativa para dispositivos USB desativados ou removidos com segurança que também tem instruções sobre como desabilitar isso.
Atualização: Vale a pena ler a seção mais informações de KB2401954 , especialmente o bit "Efeitos do dispositivo removedor de dispositivo USB" para que você entender os efeitos de reverter o comportamento no Win 7 etc.