Muito fácil!
Habilite a "Política de Restrição de Software" na Diretiva de Grupo - certifique-se de personalizar conforme necessário se tiver binários em locais não padrão (Arquivos de Programas, diretórios do Windows, etc. são incluídos automaticamente).
Editar: para maior clareza para os futuros leitores, um ponto levantado nos comentários é que você deve executar a Política de Execução de Software em um modo de lista de desbloqueio. Isso significa bloquear todos os arquivos executáveis, exceto aqueles que você permitir. Um lembrete aqui é incluir diretórios importantes para os quais usuários normais não podem gravar (Arquivos de Programas, diretório do Windows, etc.).