O WinDbg faz parte do pacote Debugging Tools for Windows. A Microsoft publicou instruções sobre como instalar o Debugging Tools for Windows aqui .
Basicamente, você precisa instalar o Windows SDK. Do instalador do SDK, você pode escolher apenas instalar as ferramentas de depuração e nada mais.