ttyS é o dispositivo serial "padrão" original; ttyM é mais recente (não é o único dispositivo serial). A MAKEDEV página de manual resume a listagem (originalmente em Linux Documentation / drivers.txt , mas agora em outros lugares como a "Lista de Dispositivos Alocados no Linux" :
SERIAL DEVICES
ttyS{0..63}
Standard serial ports. There is no group keyword, you must
specify these individually. However ttyS{0..3} are created under
the generic option for most architectures.
e
PAM or ttyM
Creates PAM multimodem (or ISI serial card) ports ttyM{0..15}.
Uma rápida olhada ao redor mostraria que as pessoas usam setserial com ttyM ...