Eu descobri que faltavam arquivos de cabeçalho. Então eu instalei arquivos de cabeçalho do centro de software do Ubuntu. Basta digitar mkoctfile
na pesquisa e instalar Header files for the GNU octave language (3.2 branch)
agora eu posso compilar .mex
arquivos usando o comando
mkoctfile --mex myhello.c