Pelo que vejo na sua lista ps , o java está usando 704MB de RAM física. Mate o PID usando kill -9 12825 .
Você também pode usar ps -eo pid,rss,cmd --sort -rss | head para listar processos por RES para ver qual PID está usando mais RAM.