Trechos da página do manual que você vincula:
G ''Guard''. Enable guard pages. Each page size or larger
allocation is followed by a guard page that will cause a
segmentation fault upon any access.
< ''Half the cache size''. Decrease the size of the free page
cache by a factor of two.
The default number of free pages cached is 64.
Assim, o link simbólico que você cria em /etc/malloc.conf
ativa a página de proteção e reduz o tamanho do cache por um fator de 4, presumivelmente de 64 para 16 páginas.
Se você quiser apenas ativar páginas de proteção sem modificar o tamanho do cache, apenas
# ln -s G /etc/malloc.conf