Você pode escrever a regra do udev para resolver isso. Google Keywords: permissões usb do udev
Você pode fazer referência a isso e este links.
Crie um arquivo /etc/udev/rules.d/51-my_usb_device
(por exemplo). E coloque a seguinte linha:
SUBSYSTEMS=="usb", ATTRS{idVendor}=="10c4", ATTRS{idProduct}=="ea60", GROUP="users", MODE="0666"
Onde HEX1 e HEX2 são substituídos pelo fornecedor e id do produto, respectivamente. Você pode obter o ID do fornecedor e do produto do comando lsusb -vvv
.