Um pânico do kernel geralmente é um bug do kernel. O kernel deve lidar com erros de hardware e software normalmente. Existem poucas exceções: os erros de memória não podem ser recuperados facilmente pelos kernels, mas não parece ser o caso.
Mas provavelmente também há algum problema no USB. Tente um kernel mais novo, que possivelmente tenha uma mensagem de erro melhor.