Normalmente, você recebe uma cópia da chave pública para alguém porque ela a publica (seja enviando diretamente para você ou colocando-a em um lugar mais acessível).
A cópia original da chave pública é normalmente em ~/.ssh
devido à convenção de armazenar a chave privada diretamente lá quando o par de chaves pública / privada é criado. Além da conveniência, não há razão para que alguém tenha que manter sua chave pública lá, pois eles usarão a chave privada para fornecer suas credenciais.