Tive o mesmo problema.
Eu acho que o problema é que eu não tinha instalado o gnuplot corretamente. Eu consegui resolver isso baixando o Maxima, que tem outra instalação binária do gnuplot.
Uma vez que este foi instalado, eu tive que ter certeza que o ambiente estava definido para x11, porque aquaterm também estava me dando dor. Eu fiz isso em oitava por:
> setenv GNUTERM 'x11'
E então
> hist(randn(1,1000))
funcionou!
NB: Esta é uma solução parcial que é viável para mim por enquanto. Há certamente uma solução melhor ...