Você precisa adicionar seu ID de dispositivo às regras.
Ligue o seu dispositivo através de USB.
Faça lsusb
e procure seu dispositivo.
Você receberá algo como
Bus 003 Device 048: ID 18d1:4ee7 Google Inc.
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Em seguida, adicione a linha em /etc/udev/rules.d/51-android.rules semelhante a outros, mas com idVendor (neste exemplo, '18d1') e idProduct (aqui '4ee7')
SUBSYSTEM=="usb", ATTR{idVendor}=="18d1", ATTR{idProduct}=="4ee7", MODE="0600", OWNER="{same as others}"
então
sudo udevadm control --reload-rules