Sem um ambiente gráfico, a instalação via SSH seria um pouco difícil, pois o OpenSolaris não tem um instalador baseado em texto neste momento (se bem me lembro). Você sempre pode inicializar a instalação no modo de texto e depois ativar o SSH.
Se você quiser fazer a instalação através do SSH, você terá que usar a instalação gráfica com ssh -X
. Uma vez logado, você pode executar pfexec /usr/bin/gui-install
.