Primeiramente, o plugin pam_listfile não funciona com o Berkley DB. Ele funciona com arquivos arbitrários, conforme escrito em man 8 pam_listfile .
Em segundo lugar, o plugin para trabalhos com o Berkley DB chamado pam_userdb . Está bem descrito em man 8 pam_userdb . Bom exemplo também está presente na página do manual mencionada:
auth sufficient pam_userdb.so icase db=/etc/dbtest.db