Para desinstalar o GNU Octave, você pode executar este comando:
sudo apt purge octave
Mas você não precisa remover e instalar a última versão do Octave.
Você pode atualizar facilmente esse pacote com estes comandos:
sudo add-apt-repository ppa:octave/stable
sudo apt update
sudo apt install octave
Estes comandos atualizam o Octave para a última versão estável deste software (sem a necessidade de remover a versão atual).