Você está fazendo totalmente certo, pois o campo "Office" é controlado pela propriedade do Active Directory, physicalDeliveryOfficeName.
Como isso está correto e parece estar funcionando com base na sua captura de tela, presumo que seja mais relacional do Exchange. Então, suponho que você esteja usando um livro de endereços off-line. Então, por favor, certifique-se de que este está atualizado via:
Update-OfflineAddressBook -Identity ""
Em seguida, no seu cliente do MS Office, localize o OAB arquivado em cache, normalmente em:
C:\Users\%username%\AppData\Local\Microsoft\Outlook\
Verifique a data aqui. Você também pode desligar o cliente Outlook e excluir os arquivos. Em seguida, inicie o cliente e ressincronize o OAB.