Os protegidos por senha, quando vistos como arquivos de texto simples, têm uma linha dizendo "/ Criptografar" perto do final, que está faltando em PDFs desprotegidos. Então, no Linux, você poderia usar
$ fgrep -al '/Encrypt' *.pdf
para obter uma lista de arquivos contendo "/ Encrypt".
Observe que as opções -al , que indicam fgrep para (a) processam todos os arquivos como se fossem arquivos de texto, e (l) listam os nomes dos arquivos correspondentes sem as linhas correspondentes, assim como (l) ) pare na primeira partida em cada arquivo. Veja man fgrep para mais detalhes.