isso é possível, perdoe-me se não estiver correto, mas isso definitivamente será um primeiro palpite:
em /etc/pam.d/common-auth digite as seguintes linhas
auth sufficient pam_ldap.so
auth sufficient pam_unix.so
Apenas uma observação: antes de começar a jogar com a configuração do PAM, certifique-se de ter um terminal raiz rodando em segurança em algum lugar. Se a autenticação ficar estragada por algum motivo, você precisará reverter suas alterações