O diálogo de download pode aparecer porque o jsp não está definido em /etc/nginx/mime.types - embora eu suponha que um proxy reverso não altere o tipo de mime fornecido pelo Tomcat.
Assumo que o WebApp está funcionando corretamente quando você visita o aplicativo na porta 8080? Se sim, veja o que acontece quando você passa todas as solicitações para o Tomcat, assim:
server {
listen 80;
server_name subdomain.test.com;
root /usr/local/tomcat/webapps/webapp_folder;
index index.html index.htm index.jsp;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_pass http://localhost:8080;
}