Se você não precisa do dispositivo serial para dispositivos braille, você pode querer desabilitar o brltty (você pode remover o pacote), que costumava ser o culpado pelos dispositivos ttyUSB pelo menos antes do Lucid.
Eu definitivamente não vi dongles USB RS232 ainda serem reivindicados por brltty desde o lançamento do Lucid.