¿
¿
É a entidade HTML para um ponto de interrogação invertido.
Então, se você mantiver pressionada a tecla ALT e digitar 191 (estou em um laptop, não posso testar isso), ele deve gerar isso.
Quanto ao Office, deve ser uma configuração. Tente convocar o menu "Inserir" no Word, que mostrará muitos símbolos. Encontre o ponto de interrogação invertido e, se houver um atalho personalizado, essa será sua resposta.