Sim, você pode usar o LDAP. Se você está feliz em permitir que os usuários usem senhas, você pode armazenar senhas no LDAP e usar nss ldap e pam ldap para identificar e autenticar usuários do seu diretório, respectivamente.
Você precisará colocar alguns atributos personalizados em seus usuários no LDAP para fornecer IDs e senhas de usuário unix.
Se você quiser chaves ssh, você precisará instalar um patch para o sshd que pega suas chaves do LDAP, isso normalmente não é uma opção. É o que usamos, funciona muito bem (algumas dezenas de engenheiros autorizados, mais de 650 servidores).