Sua chave é armazenada na pasta ~/.ssh/ do seu Mac. Por exemplo, no meu sistema eu tenho arquivos chamados github_rsa (chave privada) e github_rsa.pub (chave pública). Você pode copiar / colar a chave privada na sua máquina Windows e instalá-la lá - é apenas texto simples.