Esconder sua chave em um lugar incomum não é torná-la mais segura. Se você realizar boas práticas básicas para gerenciamento de chaves, não há necessidade de fazer nada extra.
Sua chave privada precisa ser mantida "secreta", isso é conseguido principalmente criptografando-a. Você deve usar uma senha strong para criptografar sua chave. Em seu (s) sistema (s), o openssh impõe restrições adicionais, pois não usará uma chave privada que seja acessível por outra pessoa que não seja seu proprietário.
Sua chave pública é apenas isso, público, você pode dar a alguém.