Você pode fazer ping / acessar o servidor ldap a partir do cliente? E o contrário?
Você também desejará certificar-se de que as portas 389 (ldap) ou 636 (ldapSSL) estejam abertas. Uma ferramenta como o nmap (apt-get install nmap):
nmap <IP address> -p389 or
nmap <IP address> -p636
Em geral, você informa se as portas estão fechadas, filtradas ou abertas.