O melhor - e único - mecanismo de jogo Java que eu conheço seria LWJGL .
Isso significa Lightweight Java Game Library . É uma implementação do OpenGL, OpenAL e OpenCL, que são os mesmos escritos em C.
Mas o próprio Java é bastante incomum e não recomendado para criar jogos 3D. Traz uma enorme perda de desempenho devido à interpretação em tempo real do Java Byte Code.
Você pode dar uma olhada no C ++.