Sua chave privada mora no seu servidor, sim.
Eu acho que ele mora dentro do registro em algum lugar por padrão, mas pode exportá-lo facilmente usando o MMC Snapin do Windows Certificate Management. Esse processo tem sido essencialmente o mesmo desde pelo menos o Windows Server 2003.
Aqui está um passo a passo com capturas de tela: link