você realmente escreveu '??? hex'? se assim for, é exatamente por isso que não funcionou.
No entanto, a resposta mais lógica é que você está se referindo às várias opções de mapeamento existentes no picocom. Sua linha está bem como está. O que eu acho que está acontecendo é que sua versão do picocom é muito antiga para ter esses recursos disponíveis.
Por exemplo, eu tenho v1.7 em um pi de framboesa e ele não funciona com essas opções, no entanto, usando v3.1, que é o mais recente no momento, funciona muito bem.