Você provavelmente tem o ConsoleKit rodando no Ubuntu, que pode configurar automaticamente as permissões do dispositivo de acordo com as regras do udev.
Adicione o seguinte a /etc/udev/rules.d/60-extra-acl.rules
1 :
KERNEL="ttyUSB[0-9]*", TAG+="udev-acl", TAG+="uaccess"
( 1 Sim, crie o arquivo. Ele não existe por padrão.)