A chave pública vai para as máquinas às quais você deseja se conectar, e a chave privada vai para a máquina da qual você deseja se conectar. Isso permite que você envie a mesma chave pública para várias máquinas e, se uma delas for hackeada, não se preocupe com as outras.
É mais simples gerar um par na sua máquina local (aquela que você usa). Por padrão, as chaves vão para .ssh/id_rsa
e .ssh/id_rsa.pub
.