O algo que detecta sua porta é provavelmente o ModemManager, que faz parte do conjunto do NetworkManager.
Se você não tem um modem (clássico ou wwan) instalado em seu sistema, o mais fácil é remover o ModemManager do seu sistema. Se você tem esse modem, então você pode adicionar uma regra do udev para sinalizar ao ModemManager que este dispositivo não é um modem e que ele não deveria nem mesmo testá-lo:
ATTRS{idVendor}=="1234", ATTRS{idProduct}=="5678", ENV{ID_MM_DEVICE_IGNORE}="1"
em que 1234
é o ID do fornecedor do seu dispositivo e 5678
do ID do produto (você pode encontrá-los com lsusb
)