Esse é um comando Octave, não um comando shell, portanto, você precisa executá-lo a partir de um prompt da Octave. A partir de um prompt de shell, inicie o Octave:
octave
Em seguida, execute o comando pkg install .
No entanto, , o pacote general Octave está incluído nos pacotes do Debian Octave, então você não precisa instalá-lo assim.
Se você está realmente tentando instalar o Octave, execute
sudo apt install octave
em vez disso.