Uma opção é ter uma pequena instância configurada, você fornece a todos os seus desenvolvedores acesso a esta máquina. Eles SSH para ele, ea máquina tem uma chave ssh autorizada que lhes permite acesso a todas as outras máquinas. Você pode usar firewalls nas máquinas para impedir logins SSH de outros endereços IP.
Outra opção seria configurar algo como o Puppet, que seria capaz de gerenciar o arquivo authorized_keys para você.
Ainda outra opção é configurar um script para rsync o arquivo authorized_key para todos os hosts quando ele é alterado em uma máquina. Você poderia usar algo como o lsyncd para automatizar isso.
Lembre-se de que, apenas porque você revogou uma chave SSH de desenvolvedores, isso não significa que você removeu o acesso que eles podem ter a essa máquina. Uma pessoa mal-intencionada com acesso SSH pode configurar algo como um shell invertido ou adicionar vários tipos de backdoors ao código em que está trabalhando.