Você pode copiar as chaves para a sua nova máquina através de uma unidade USB ou rede ou qualquer outra coisa. A única coisa que você precisa garantir é que as chaves em sua nova máquina (depois de copiá-las) só são acessíveis a esse usuário, então você pode precisar fazer algo como:
$ chown youruser:youruser ~/.ssh/id_rsa*
$ chmod 600 ~/.ssh/id_rsa
$ chmod 644 ~/.ssh/id_rsa.pub
Você também pode executar ssh-add
antes de fazer login nas máquinas para as quais você usa essas chaves. Isso permitirá que você adicione chaves adicionais para o mesmo usuário (na máquina remota). Você precisará da sua senha (remota) para isso.