Remover mensagens duplicadas do Maildir

Question

Eu tenho um monte de mensagens duplicadas no Maildir do meu servidor IMAP. Qual é a melhor maneira de removê-los?

Alguns pontos relevantes:

• O Message-ID compartilhado geralmente é uma definição boa de duplicata. Um pequeno script que remove todas as mensagens duplicadas, com exceção de uma, funcionaria.
• Às vezes, é necessário encontrar duplicatas com base nos corpos de mensagens compartilhadas. O que é uma definição razoável de compartilhada aqui? Equivalente bitwise? E quanto a estranhas diferenças na quebra de linha, na fuga, na codificação de caracteres?
• Às vezes, há alguma diferença significativa entre as mensagens "duplicadas". Qual é a melhor maneira de rever as diferenças nos conjuntos de mensagens 'duplicadas'? Diferenças?

Answer 1

Eu fiz algumas melhorias significativas no script de Kevin mencionado acima, e ele teve a gentileza de aceitar meus pedidos de pull. Eventualmente, nós dividimos isso em um projeto dedicado que você pode encontrar aqui:

link

    

Answer 2

para arquivos genéricos no linux, eu uso fdupes utils para remover arquivos duplicados. Eu achei que também funciona para mensagens Maildir.

    

Answer 3

O melhor que encontrei hoje é o desduplicação da maildir de Kevin Deldycke.

• Ele ignora o cabeçalho X-MIMETrack por padrão e compara os cabeçalhos usando o SHA224 digest.
• Ele não considera o corpo da mensagem.
• Exclui automaticamente as duplicatas sem solicitar confirmação.
• Ele supõe que sua caixa de correio está em /Users/kevin/Maildir . :)

Aposto que alguém poderia fazer algo extravagante com o delIMAPdups.pl de Rick Sanders, parte dele < href="http://www.athensfbc.com/imap_tools/"> Ferramentas IMAP .

    

Answer 4

O Gnome's Evolution [um agente de usuário de e-mail gráfico] possui um recurso interno para remover e-mails duplicados. Conforme explicado nesta página de ajuda , resume-se a:

1. Selecione as mensagens suspeitas (ou apenas todas as mensagens)
2. Vá para o menu Mensagens , escolha Remover mensagens duplicadas .

Voilà.

P.S. O Evolution pode acessar suas mensagens localmente (MailDir, MH, Mbox) ou por IMAP.