Então (do seu comentário), existe um ulimit (causando SIGXFSZ e EFBIG ), o que explica porque o tamanho do log não pode ser maior.
Você pode confirmar com:
grep 'Max file size' "/proc/$pid/limits"
(onde $pid é o id do processo java destinado a gravar nesse arquivo).
Possivelmente é definido pelo próprio processo (verifique se há setrlimit ou ulimit na saída strace). Ele também pode ser definido por um script de wrapper que inicie java ou o aplicativo java (procure por ulimit -f 100000 ).