O erro que você tem significa que a JVM não conseguiu reivindicar memória suficiente para iniciar. É possível que a chamada mmap falhe no VPS, embora você tenha muita memória livre informada pelo sistema, devido ao mecanismo de comprometimento de memória.
A opção Xmx para JVM é um limite de memória de heap superior. Talvez seja necessário ajustá-lo, mas isso não deve impedir que o glassfish seja iniciado. O que você precisa é da opção Xms. É 128Mb por padrão, tente reduzi-lo primeiro.