O GlassFish 5 ainda não suporta o JDK 9. O trabalho de suporte ao JDK 9 está em andamento e fará parte da versão 5.0.1 - consulte o aviso no link
O Payara Server , um fork do GlassFish mantido ativamente, é executado no JDK 9 desde a versão 5 - Alpha 2
. Este é um pré-lançamento e ainda não totalmente testado, mas se você precisar de suporte a JDK 9, provavelmente é o único servidor liberado que o faz até que o GlassFish 5.0.1 seja lançado.