Sim. Você precisa criar várias entradas de banco de dados na configuração base e configurá-las com diferentes Base DN 's.
Isso é feito com a instrução database no /etc/openldap/slapd.conf .
Exemplo:
database bdb
suffix "dc=example,dc=com"
rootdn "uid=root,cn=users,dc=example,dc=com"
Você encontrará mais informações na documentação do OpenLDAP.
(Nota: claro, isso também deve ser possível ser configurado através da configuração cn=config online).