Como @Fox observou em um comentário, pode ser o ZFS que, por padrão, usa memória livre para armazenar em cache o IO. Há vários ajustes, mas a atualização do Solaris pode ajudar, pois eles adicionaram alguns recursos para ajudar no desempenho do ZFS no Solaris 11. Ref MOS doc: Gerenciamento de memória entre ZFS e aplicativos no Oracle Solaris 11.x (ID do documento 1663862.1 ) para alguma informação e orientação.
Refira o seguinte para alguns ZFS reco fora do Oracle: link
Além disso, se você estiver usando dedup em qualquer conjunto de dados, ele usará uma boa quantidade de memória.