Não existe essa chamada de sistema ou conjunto de chamadas do sistema. Tudo é feito por convenção.
Já nos velhos tempos, quando um "terminal" era um grande pedaço de equipamento ligado a um computador via cabo, "terminais inteligentes" faziam coisas como mover o cursor, desenhar uma linha ou preencher um polígono com cores. O terminal inteligente geralmente fazia isso via "seqüências de escape". Um programa emitiu uma sequência especial de valores de byte, geralmente começando com ASCII 0x1b, 'ESC', para mover um cursor, ou colorir uma palavra, ou alguma coisa especial além de imitar um teletypewriter.
Essa é a "convenção". Hoje em dia, um "terminal" é quase sempre apenas uma janela entre muitas em uma tela de bitmap, xterm, rxvt, etc etc. Cabe ao xterm (ou rxvt ou qualquer outro) ler os bytes vindos do "programa" rodando nele. e interpretar esses bytes de acordo com uma determinada convenção. Acabei de digitar isso em uma das minhas janelas do xterm:
6 % echo $TERM
xterm
Mas eu sei que xterms velhos e antigos costumavam dizer "vt100" nesse caso. Qualquer programa que "mova o cursor" precisa gerar sequências de escape para a convenção "xterm" para mover o cursor em uma instância do xterm.
Você pode fazer man curses
e man terminfo
para mais informações.
PS
As pessoas fizeram sistemas de janelas inteiras com seqüências de escape. Veja MGR como um exemplo.