é um processo manual. há limites para o que coisas como a magia de imagens podem fazer a partir de scripts para tentar eliminar duplicatas de imagens / vídeos. Se apenas pelo nome é confiável, então você poderia usar um software de cópia para mesclá-los todos. quanto a duplicado pdf's não sei de um software que iria lê-lo e ver se eles são duplicados.