Use /WEB-INF/duke.gif
No entanto, você precisa acessá-lo como um recurso do contexto de servlet.
No seu JSP:
<%
ServletContext ctx = request.getServletContext();
InputStream stream = ctx.getResourceAsStream("/WEB-INF/duke.gif");
%>
Espero que isso ajude ...