Para 2.500 hosts, você pode já ter um sistema de gerenciamento de configuração, mas você pode usar o SaltStack se não tiver. Nós temos isso para autenticação de raiz:
user1auth:
ssh_auth:
- present
- user: root
- source: salt://resources/ssh_keys/user1
user2auth:
ssh_auth:
- present
- user: root
- source: salt://resources/ssh_keys/user2
Você não precisa ter a chave privada no host de salto. Basta usar o encaminhamento de agentes ao efetuar login: ssh -A root@host
.
Existem outros sistemas também (Pupet, cfengine, por exemplo).