Geralmente, o Java joga bem com o grsec.
No entanto, há uma opção no grsec que quebra as coisas ruins para o Java.
Parece que você tem essa opção ativada em seu kernel.
Verifique em:
[*] Grsecurity
Customize Configuration --->
PaX --->
Miscellaneous hardening features --->
[ ] Sanitize all freed memory
Certifique-se de que a opção Sanitize all freed memory
esteja desativada, recompile o kernel (não é possível gerenciar o IMO via sysctl) e tente novamente.