O módulo PAM pam_cracklib é responsável por testar a senha para complexidade. configure como abaixo.
#password requisite pam_cracklib.so try_first_pass retry=3 type=
password sufficient pam_unix.so sha512 shadow nullok
password sufficient pam_sss.so use_authtok
password required pam_deny.so