Antes de mais nada, certifique-se de que você sabe o que está fazendo, desligar um computador quando qualquer dispositivo USB anexado a ele pode colocá-lo em um ponto difícil ao tentar conectar seu teclado, por exemplo.
Com esse aviso fora do caminho, o Windows Scheduler seria a maneira mais fácil de fazer isso. Escreva um pequeno script em lote que desliga o computador:
@echo off
shutdown \p
E defina uma tarefa agendada usando o Agendador do Windows para executar esse script em lote toda vez que um dispositivo USB for inserido. E o seu feito!