A maioria dos drivers USB são executados em modo de usuário sob a estrutura do driver WDF , portanto, todo problema de acesso à memória física é inexistente. Não há lugar nos drivers USB que permitem acesso direto a qualquer coisa na memória. Independentemente disso, se um driver de dispositivo tentar acessar a memória, o Windows não exibirá a tela azul na maior parte do tempo.
É importante notar que, se um dispositivo receber permissões suficientes, poderão ser criadas explorações (por exemplo, estouro de buffer) por meio do software que acessa esse dispositivo.
TLDR: os próprios drivers USB não representam uma ameaça, mas o software que você usa com o dispositivo pode.