Pode ser mais fácil usar um subdomínio para o aplicativo java, como o link . Então você poderia fazer algo como o seguinte, embora eu não esteja familiarizado com o GlassFish, mas eu suponho que você pode configurá-lo para ouvir em um determinado endereço IP como com o TomCat. Se você quiser usar a porta 80 para ambos os aplicativos, precisará do IIS para escutar no endereço IP A e no GlassFish para escutar no endereço IP B. Em seguida, use o DNS para apontar o servidor para IP A e java.myserver para IP B.
Em seguida, siga estas etapas: link
Basicamente, limite o IIS para escutar apenas o IP A e não vincular o IP B. Assim, o GlassFish pode vinculá-lo à porta 80.
Open a command prompt as an administrator
Show which IP Address IIS is listening/binding too with this command.
netsh http show iplistenThen limit IIS to listen/bind certain IP address with this command
netsh http add iplisten xxx.xxx.x.xReboot the server (You could try restarting http service but that doesn’t always show up in services and it’s a pain. Easier to reboot).