Você está usando o JDK 9, que ainda está em desenvolvimento. Alguns argumentos / recursos de linha de comando de JDKs anteriores não estão (atualmente) presentes no Java 9. Tente fazer o downgrade para o JDK 8.
P.S .: Você já tentou o IntelliJ? É minha preferência pessoal por um IDE.