Você emitiu um comando como AT+CMUX=0
para o modem para acionar o mux em primeiro lugar?
O material mux não está funcionando, é por isso que você está recebendo essa mensagem de erro. O driver do kernel e o módulo de comando AT não estão se comunicando corretamente ...