Infelizmente, não há uma maneira de proteger o dispositivo USB além do uso do bitlocker. Como o usuário tem a senha, ele pode ser montado em sua máquina e ter acesso aos arquivos. Sempre que alguém tem acesso físico, há sempre esse tipo de problema.
Você pode querer examinar uma solução de Área de Trabalho Remota se precisar de controle total. Visão geral dos serviços de área de trabalho remota link