Eu tive um problema semelhante, o problema foi quando eu importei o arquivo CSV de contato para o Outlook.
passos corretos:
Arquivo - > Aberto - > import - > Importar formulário Outro arquivo de programa - > Valores separados por vírgula (Windows) - > Não importe itens duplicados . Depois disso, basta selecionar a próxima opção.
Finalmente, nas configurações de contas do Iphone, desligue e ative novamente as opções de contatos.