Supondo que você queira exibir caracteres unicode corretamente:
A instalação do Office (ou demo) instala versões unicode de determinadas fontes do sistema, para que você possa instalar a versão de avaliação do Office para obter as fontes necessárias. Você pode então desinstalar o escritório e ele deixará as versões unicode das fontes para trás.
Se você ainda tiver problemas depois disso (e, novamente, supondo que está enfrentando problemas para visualizá-los na Web), precisará verificar se o navegador está configurado para exibir utf-8, e não algo mais específico da linguagem. Como alterá-lo é um pouco diferente por navegador (por exemplo, no Firefox é em preferências > conteúdo e, em seguida, opções de fontes avançadas)