Parece que o Keyholder seria uma boa opção para suas necessidades.
Na página da wiki :
Keyholder is a set of scripts that allow a group of users to use an SSH key without sharing the private key with the members of the group. This is accomplished by running a locked-down instance of ssh-agent, and running ssh-agent-proxy in front of it.
Depois de executar e configurar o proxy ssh-agent, os usuários são autenticados configurando SSH_AUTH_SOCK
para apontar para o soquete do proxy e, em seguida, ssh-agent-proxy
permitirá que os usuários autentiquem usando uma chave que eles estão autorizados a usar sua associação ao grupo unix local.
A configuração é assim:
---
group-name: ["ssh:key:fingerprint"]
E as chaves são armazenadas separadamente, somente acessíveis pelo usuário root.
Alguém com acesso ao root deve "armar" o serviço keyholder uma vez após a reinicialização do servidor, e qualquer pessoa com associação de grupo apropriada pode usar as chaves armazenadas no keyholder ssh_agent.
Atualização:
Desde que escrevi originalmente esta resposta, o keyholder foi extraído do repositório de fantoches da Wikimedia e recebeu o tratamento adequado para se tornar um projeto autônomo. Deve ser muito mais fácil de usar agora, especialmente para usuários do Debian, pois os scripts e metadados do pacote debian estão incluídos em um filial do repositório de origem .