Se o seu objetivo é usar o pacote sudo construído com o suporte LDAP para que você possa ter o banco de dados sudoers distribuído via LDAP, então você tem que instalar este pacote em todos os servidores que você quer usar o sudo!
Nota: cada servidor deve ter libldap instalado.
Não é necessário em seu servidor LDAP em si.
Mas você também pode instalar nele se quiser usar essa versão do sudo .