O limite de memória do Solr é o limite de memória heap da JVM. Não há configuração separada.
As anotações aqui indicam que o uso de memória do Solr de fato eclipsará o limite da JVM de vez em quando, mas que tente "acertar" liberando espaço de heap quando um OutOfMemoryError
for disparado.