Ao contrário de outros sistemas operacionais que implementam o inoportuno out of memory killer ou equivalente, o Solaris não compromete a memória (a menos que você esteja usando técnicas de alocação muito específicas). Quando alocações regulares de memória são feitas, o sistema operacional garante que essa memória estará disponível quando necessário (ou seja, reserva). A desvantagem é que você precisa ter espaço de memória virtual suficiente para armazenar essa memória parcialmente não utilizada.
A RAM livre não está relacionada, mas também é responsável pelo tamanho da memória virtual.
Dê uma olhada na saída "swap -s" quando o problema ocorrer.
Note que você pode facilmente aumentar a área de troca adicionando arquivos ou dispositivos de troca.