O IMAP lida apenas com pastas de mensagens RFC822. Não há padrão para armazenamento de contato no servidor. Dito isso, acredito que o Exchange disponibiliza os contatos por meio de seu servidor IMAP de maneira não padronizada. Não tenho conhecimento de uma biblioteca que facilite o uso dessas informações.
A maioria dos clientes IMAP de desktop permite que você use um diretório LDAP para aumentar sua lista de contatos. Se o servidor IMAP também usar esse diretório LDAP para autenticação, seu cliente poderá pesquisar a lista de endereços válidos.