A sugestão de olhar para a saída pmap está levando você na direção certa. Uma coisa que você pode querer considerar é a fragmentação de memória - se você estiver parando e iniciando sua instância de db (e aplicativos dependendo dela), o aplicativo (mecanismo rdbms) fará várias chamadas de sistema para solicitar o máximo possível de memória contígua. Quando o sistema tiver fragmentação de memória, os aplicativos com fome de memória terão dificuldades de inicialização e poderão reportar ENOMEM (falta de memória) nesse caso.
Você pode assistir por si mesmo usando o DTrace.
Existem algumas correções para isso no Solaris 11, SRUs e Atualizações, mas não tenho certeza se elas estão disponíveis para o Solaris 10. Você deve fazer login no MOS e verificar as páginas rdbms em busca de problemas específicos do Solaris 10.