Contatos (assim como entradas de calendário e tarefas) no Outlook não estão associados a um endereço de e-mail. Eles estão no arquivo de dados (.pst) associado ao Outlook (ou ao servidor Exchange, se você estiver usando o Exchange), mas não ao endereço de e-mail que você está usando.
Você pode adicionar um novo endereço de e-mail e alterá-lo para ser o padrão. Em seguida, remova o endereço antigo. Dependendo do tipo de novo endereço de e-mail ao qual você se conecta e de como você se conecta, você pode obter novos Contatos (por exemplo, Outlook.com), mas seus contatos antigos não devem ser removidos.