Não está claro na sua pergunta se o problema é o próprio metadado do Rhythmbox ou se você deseja realmente remover (quase) arquivos da sua biblioteca de músicas.
Se é o último, eu escrevi um plugin Duplicates Browser para Quod Libet que pode fazer isso, com configurações configuráveis e chave composta para deduplicar (por exemplo, artist
plus title
plus album
)