Você pode adicionar um AWS::CloudFormation::Init
e referenciá-lo em sua instância do Windows. Dentro disso, você deve poder chamar algo como shutdown.exe /r /t 00
dele. O único acesso que você tem à caixa dentro do Cloud Formation está nessa etapa AWS::CloudFormation::Init
.