O mais provável é que o aplicativo mantenha a versão antiga de si mesmo caso algo dê errado e você precise restaurar a versão antiga. Quanto mais importante o programa, maior a probabilidade de o desenvolvedor adicionar essa funcionalidade. Essas versões geralmente são armazenadas no diretório temporário.
Agora, quanto espaço esses backups terão, realmente depende do desenvolvedor do programa. Geralmente os programas mantêm uma versão mais antiga, talvez dois. Mas é realmente insano fazer um programa preenchendo o HDD com versões mais antigas de si mesmo.
Assim, a resposta para o caso da Microsoft é, a menos que exista um bug , o programa não ocupará espaço infinito. Em um ponto ou outro, ele deixará de ocupar mais espaço. Você pode tentar apagar todo o conteúdo dos diretórios temporários usando o programa interno do Windows: "Limpeza de Disco". É muito fácil e muito útil também.