A versão mais recente da oitava tem uma GUI completa semelhante ao MATLAB. Supondo que a oitava já esteja instalada, você pode ir para a versão mais recente da oitava estável executando:
sudo add-apt-repository ppa:octave/stable
sudo apt-get update
sudo apt-get upgrade