Você pode adicionar um AWS::CloudFormation::Init e referenciá-lo em sua instância do Windows. Dentro disso, você deve poder chamar algo como shutdown.exe /r /t 00 dele. O único acesso que você tem à caixa dentro do Cloud Formation está nessa etapa AWS::CloudFormation::Init .