Com base na sua captura de tela, parece que você está tentando abrir um documento de octave . Você também está digitando incorretamente o comando: ele é xdg-open não xdg -open (que será interpretado como um comando xdg seguido por uma opção ou opções -open ).
O comando xdg-open é normalmente executado a partir de uma shell regular do Linux e não a partir da oitava interna. Se essa foi a sua intenção, então você pode sair da oitava digitando
exit
no prompt octave> , ou pressionando Ctrl + D
Se você realmente pretende abrir um documento de dentro de oitava, precisará executá-lo como um comando de oitava válido, agrupando-o em uma chamada system() , por exemplo.
system('xdg-open somedoc.odt')