Existem muitas maneiras de fazer isso. O armazenamento de chaves LDAP foi mencionado algumas vezes, e eu fiz isso e funciona, até onde ele funciona. O LDAP tem suas curiosidades de gerenciamento, que requerem algum aprendizado.
Sou um grande fã de servidores simples e robustos que têm dependências de rede externas mínimas para coisas simples, como autenticar administradores, por isso prefiro uma estratégia de distribuição de chaves SSH muito mais robusta - tenho o sistema de gerenciamento de configuração isto. A chave pública de todos é mantida no sistema de gerenciamento de configuração e, sempre que a pessoa precisar fazer o login, sua chave será adicionada. O sistema de configuração também sabe remover chaves que não são especificadas, então quando alguém sai ou suas mudanças de chave, é uma simples questão de remover a configuração da chave e na próxima execução do sistema de configuração, a chave é removida.