Pode ser mais fácil usar um subdomínio para o aplicativo java, como o link . Então você poderia fazer algo como o seguinte, embora eu não esteja familiarizado com o GlassFish, mas eu suponho que você pode configurá-lo para ouvir em um determinado endereço IP como com o TomCat. Se você quiser usar a porta 80 para ambos os aplicativos, precisará do IIS para escutar no endereço IP A e no GlassFish para escutar no endereço IP B. Em seguida, use o DNS para apontar o servidor para IP A e java.myserver para IP B.
Em seguida, siga estas etapas: link
Basicamente, limite o IIS para escutar apenas o IP A e não vincular o IP B. Assim, o GlassFish pode vinculá-lo à porta 80.
Open a command prompt as an administrator
Show which IP Address IIS is listening/binding too with this command.
netsh http show iplisten
Then limit IIS to listen/bind certain IP address with this command
netsh http add iplisten xxx.xxx.x.x
Reboot the server (You could try restarting http service but that doesn’t always show up in services and it’s a pain. Easier to reboot).