Aqui está o que acabou resolvendo meu problema. Eu baixei o USBDeview, que lista todo o histórico de todos os dispositivos conectados via usb.
Depois de visualizar todo o histórico de todos os dispositivos conectados via usb, percebi que vários eram de anos atrás, observando a última data de conexão / desconexão. Eu progressivamente começando a selecionar dispositivos de 2 anos atrás e escolhendo desinstalar o dispositivo selecionado. Repetir novamente por 1 ano atrás, etc. Eu finalmente fiz isso para todos os dispositivos, exceto para aqueles conectados no último mês.
Isso resolveu meu problema. Eu não posso explicar por que isso fez diferente da história de dispositivos antigos tinha ido embora para janelas não tinham nada para investigar ou tentar se reconectar. É possível que, quando desconectei ou movi dispositivos, algo no Windows estava investigando um dispositivo antigo e, no processo, estava desconectando o dispositivo atualmente conectado a essa porta USB.
Espero que isso funcione para os outros.