Existem várias maneiras de arquivar isso:
Primeiro, você pode usar algum serviço de diretório como o OpenLDAP (que é algo semelhante ao Windows Active Directory). Só não use nenhuma conta local e bloqueie a conta do ldap quando a pessoa sair. Eu não tenho certeza se o ldap pode lidar com chaves ssh, mas pode facilmente configurar contas de usuário (nome de usuário + senha + grupos) facilmente.
Em segundo lugar, você pode usar alguma ferramenta de gerenciamento de configuração como fantoche, cfengine ou chef ou algo assim.
Por fim, acredito que é melhor evitar ter contas em máquinas ao vivo para desenvolvedores "comuns". É melhor ter algo como construir / implementar uma máquina e usar ferramentas diferentes para implantação / monitoramento / etc, o que não exige que cada desenvolvedor tenha uma conta em cada máquina.
PS: Acredito que é hora de você considerar a contratação de pessoa de operações.