Provavelmente, você deve procurar em um software chamado USBGuard . Foi projetado especificamente para lidar com isso. Infelizmente não é pré-empacotado para muitas distribuições, mas é muito fácil de construir localmente e você provavelmente já tem a maioria, se não todas as dependências instaladas nos sistemas em questão.
Uma solução personalizada também é possível, mas, ironicamente, sua melhor referência sobre como fazer isso provavelmente também é o USBGuard.