A mesma chave SSH deve poder ser usada de vários clientes. Eu tenho algumas chaves SSH diferentes para redes diferentes e elas são realmente armazenadas em uma unidade USB criptografada que eu uso de vários computadores diferentes sem nenhum problema.
O SSH é muito exigente quanto a permissões de arquivo, então eu primeiro verifico todas as permissões de /home/{user} até o arquivo id_rsa .
O SSH realmente não se importa com as permissões de gravação de grupo ou do mundo, portanto, certifique-se de que você chmod go-w do seu diretório inicial e do diretório ~/.ssh para iniciantes. Eu também me certificaria de que eles são de propriedade de seu usuário chown ${USER}:${USER} .
Para a própria chave SSH, eu chmod 600 them ...
Se você quiser, eu tenho informações adicionais sobre como eu gerencio minhas chaves SSH em meu responda a outra pergunta do SSH.