Não sei por que isso está acontecendo, mas você pode encontrar fisicamente os arquivos Favoritos nessa pasta no Windows 7:
C:\Users\YOURUSERNAME\Favorites
Apenas feche o IE9, vá até a pasta e exclua o que você precisa.
Se os Favoritos ainda forem duplicados quando você abrir o IE9, tente executá-lo sem complementos. Você pode ter que desinstalar / reinstalar completamente ou mesmo passar para o IE10 ou 11
Muitas, muitas opções aqui, deixe-me saber se nenhuma dessas sugestões funciona.