Eu tenho o mesmo problema que você.
Parece que o gnuplot-5.0.1 não é compatível com o Lua 5.3. Ele usa luaL_checkint , mas o Lua 5.3 está usando luaL_checkinteger . Você precisa atualizar o arquivo term/lua.trm do Gnuplot-5.0.1 da seguinte forma:
254 //t_num = luaL_checkint(L, 1);
255 t_num = luaL_checkinteger(L, 1);
…
289 //t_num = luaL_checkint(L, 1);
290 t_num = luaL_checkinteger(L, 1);
Em seguida, make e make install . Tudo bem no meu Ubuntu 14.04