Uma regra udev poderia resolver seu caso com algo como
ACTION=="add", SUBSYSTEM=="block", SUBSYSTEMS=="usb", MODE="0000"
ACTION=="add", ATTRS{serial}=="6435004CB1E410A4084665E7",MODE="0666",GROUP="users"
onde o MODO representa os habituais direitos do Linux e o serial do seu dispositivo ( udevadm info --name=/dev/sdc1 --attribute-walk para obter o de, por exemplo, sdc1).
É claro que isso não irá protegê-lo de USB Killers .
Aviso de isenção : esta é apenas uma ideia de como possivelmente fazer isso. Por favor, teste e verifique mais, por ex. começando com a entrada do ArchWiki para o udev