A autenticação LDAP UNIX via PAM pode acontecer por meio de dois módulos diferentes.
O padrão (pelo menos para * Solaris) é pam_unix, em que o sistema operacional irá, na verdade, recuperar as senhas armazenadas no LDAP e fazer uma comparação local. Nesse caso, o SO do host precisa entender o método hash, e é por isso que as senhas do crypt funcionam, mas os outros tipos de hash não funcionam.
O outro mecanismo, que eu acho que você precisa, é pam_ldap, onde a tarefa de validar a senha é completamente passada para o servidor LDAP. Nesse caso, desde que o servidor LDAP entenda como fazer a comparação, você está bem.
A página man do pam_ldap entrará em mais detalhes.
Você pode encontrar um exemplo pam.conf usando o pam_ldap para o opensolaris em: link
Nota: certifique-se sempre de manter uma janela raiz sobressalente aberta ao testar as alterações do PAM, pois é fácil quebrar acidentalmente a autenticação