A explicação mais provável é que é uma falha no dispositivo USB.
Jogue fora e compre outro. Na maior parte, eles são muito baratos para gastar muito tempo tentando diagnosticar ou solucionar o problema. O comportamento que você descreveu (especialmente, o computador não inicializa ou entra no menu do BIOS quando está conectado) indica que é uma falha de hardware que você não pode corrigir.
Se você tivesse dados importantes que você não pode recuperar, provavelmente você está sem sorte. Mas como você não se importa com os dados, pode respirar aliviado.
Quanto à causa: removê-lo de uma porta USB sem desligar o sistema operacional não será a causa. Os dispositivos USB são projetados eletricamente para poderem ser removidos de um sistema em execução. Se um dispositivo morre quando você faz isso, já estava com defeito.