Se você estiver usando um shell sh -compatible (como bash ), esse > prompt é chamado de "prompt secundário". É definido pelo valor da variável PS2 , assim como PS1 define o prompt normal.
Você deve poder alterá-lo para # com bastante facilidade:
PS2='# '
Você pode querer colocar isso em seu ~/.bashrc (ou qualquer que seja o equivalente a qualquer shell que você esteja usando).