Sua chave é armazenada na pasta ~/.ssh/
do seu Mac. Por exemplo, no meu sistema eu tenho arquivos chamados github_rsa
(chave privada) e github_rsa.pub
(chave pública). Você pode copiar / colar a chave privada na sua máquina Windows e instalá-la lá - é apenas texto simples.