Se o objetivo é usar a menor quantidade possível, você poderia tentar reduzi-la para 2 GB (editar, veja o comentário de user836026 abaixo), enquanto aumenta o espaço de swap. Tenha em mente, no entanto, que tudo ficará muito lento, assim que você começar a usar o swap.
Verifique também se os processos java estão definidos para um limite em que eles não usarão mais que a memória disponível (por exemplo, parâmetro -Xmx para o espaço de heap). O mesmo se aplica ao mysql (conexões máximas, buffers ...), a maneira mais fácil de verificar é mysqltuner.