A página man de pam_cracklib lista as opções que o módulo aceita. Entre eles está o que você provavelmente está procurando:
minlen=N
The minimum acceptable size for the new password
Observe a ortografia abreviada, é minlen , não minlength . O módulo pode ou não registrar uma mensagem de erro para minlength se não reconhecê-lo. (Pode-se ficar tentado a dizer que o módulo deve falhar se for dada uma opção desconhecida.)
Observe que minlength não é exato, pam_cracklib dá o chamado "crédito" para a senha, por exemplo, letras maiúsculas e dígitos. Verifique cuidadosamente a documentação de ucredit , lcredit , ocredit e dcredit .
Além disso, é provavelmente uma boa ideia testar o comportamento real depois de configurar coisas desse tipo.