Você pode usar o Ubuntu. Eu testei no Ubuntu 14.04.3 LTS. Ele vem com o Octave 3.8, mas há um PPA para o 4.0. Eu não sei de nenhuma distro que vem com a versão mais recente da oitava.
Depois de ter iniciado o live CD, inicie o Ubuntu Software Center. Navegue para Editar > Fontes de Software. Lá, habilite "software de código aberto e gratuito mantido pela comunidade (universo)".
Em seguida, abra um terminal e execute o seguinte:
sudo apt-add-repository ppa:octave/stable
sudo apt-get update
sudo apt-get install octave
O primeiro comando instalará este PPA: link . O próximo comando atualizará o cache do pacote e o último instalará a oitava 4.0. O último comando também reduzirá um grande número de dependências.
Depois disso, você pode começar a oitava.