Pessoalmente eu uso rdfind para isso. Como mencionado na página vinculada, existem muitas outras ferramentas para isso e eu tentei a maioria delas, mas o rdfind tem a otimização de escanear primeiro e último bytes de cada arquivo primeiro, e apenas calcular a soma MD5 se são idênticos, o que nos meus backups torna isso mais rápido do que qualquer outra coisa que eu tentei.
Para o uso que você solicita, você desejará executar
rdfind --deleteduplicates backup_a backup_b
No entanto, eu recomendo que você o execute com a opção -makehardlinks. Isso substituirá os arquivos duplicados por links físicos (supondo que você esteja armazenando os dados em um sistema de arquivos sãos) para que cada backup seja como agora, mas com dados duplicados armazenados apenas uma vez.