Eu olhei para isso e parece que remove_id nunca foi implementado para usb-serial . Deve ser capaz de levar o trabalho em drivers/usb/core/driver.c e implementar remove_id em drivers/usb/serial/bus.c .
Desculpe por não ter uma resposta fácil.