Configuração ENCRYPT_METHOD SHA512 no arquivo /etc/login.defs
Preste atenção também no NOTE mencionado no mesmo arquivo, logo acima do parâmetro ENCRYPT_METHOD , que diz
Note: It is recommended to use a value consistent with the PAM modules configuration.
Portanto, a modificação adicional junto com /etc/login.defs é modificar /etc/pam.d/common-password
password [success=2 default=ignore] pam_unix.so obscure sha512
Aqui, obscure foi manipulado pelo login.defs , mas agora é substituído pelo PAM