Se eu entendi corretamente, cada servidor terá sua própria chave pública.
Para um determinado usuário , você pode gerar uma chave e usá-la em qualquer lugar, desde que a chave privada seja replicada para todos os hosts iniciantes. (Isso aconteceria automaticamente através de diretórios base montados em rede e um sistema de autenticação baseado em diretórios, como o OpenLDAP, já que o usuário sempre será "o mesmo", independentemente de em qual estação de trabalho eles fazem o login.)
Fora de um sistema de usuários baseado em diretório, acho que é uma Idéia Ruim ™ usar as mesmas chaves em todos os lugares - você acaba com uma redução na segurança do sistema, já que qualquer pessoa que consiga obter uma chave de qualquer estação de trabalho pode então autentique como aquele usuário para o servidor remoto.
Outra alternativa, aplicada por várias grandes corporações (e tenho certeza que as pequenas também) é a de nunca permitir que um "usuário" use chaves pré-compartilhadas, mas sim fazer login em um "salto" ou " hub "box, su
para o usuário de conexão apropriado e, em seguida, o SSH para os servidores que eles precisam gerenciar.
Além disso, se você usar um sistema de gerenciamento como a plataforma de automação de servidores da HP, a administração remota de servidores gerenciados se tornará um processo mais simplificado.