Este é um tiro longo e pode não ser relevante para a sua situação, mas não faz mal tentar.
Os discos removíveis no Windows não recebem exatamente as mesmas permissões NTFS que os discos fixos. Mesmo quando você olha para as permissões e elas parecem ser exatamente as mesmas. Algumas das permissões mais obscuras não aparecem na GUI do Windows.
E isso, por sua vez, pode levar a um comportamento estranho. Isso acontece especialmente ao iniciar aplicativos, clicando em um de seus documentos ou ao iniciar aplicativos usando "Usuário diferente do RunAs".
Eu estou supondo que de alguma forma as permissões NTFS herdam o processo que é iniciado para executar o EXE, com uma dessas permissões sendo a causa do problema. Eu nunca vi isso acontecer se o drive USB for formatado com FAT.
Esse problema não é específico para unidades USB. Isso também pode acontecer com unidades SATA hot-pluggable (se o Windows as considerar como removíveis, o que nem sempre é o caso).
Existe uma solução para isso, se é isso que está mordendo você.
Infelizmente, em termos de segurança, a solução alternativa não é muito boa:
Altere as permissões de NTFS da pasta que contém o executável do aplicativo e em todas as pastas acima da pasta raiz para incluir "Controle total: EveryOne". De alguma forma, isso resolve o problema.