O Google Chrome é relativamente único, pois se instala no diretório de perfil do usuário, em vez de em um diretório do sistema como C:\Program Files ou similar. Não existe uma maneira realmente fácil de evitar esse tipo de instalação de software. Há muitos softwares por aí que nem precisam ser "instalados" para rodar - veja PortableApps.com , por exemplo.
Se você realmente deseja bloquear a instalação de software, existe um software usado para implementar sistemas de quiosque baseados no Windows. Eu sugeriria pesquisar na web por "windows kiosk software".