O Solaris / SmartOS não implementa o OOM Killer. Então não é isso. Se um aplicativo tentar solicitar uma memória que não esteja disponível, um erro será retornado ao aplicativo e ele poderá continuar em execução. É claro que o aplicativo gerencia o erro é uma questão diferente.
Você pode usar o truss / dtrace para verificar os syscalls que o aplicativo está fazendo e procurar por quaisquer erros retornados.
Você também pode ficar de olho no processo usando prstat, ps etc para ver quanta memória está solicitando / usando.