Existem muitas ferramentas, como Salt, Ansibel, Chef e Puppet, que podem ser usadas para essa finalidade. Atualmente, estamos usando o salt para automatizar todas as nossas compilações de servidores. Avaliamos outras ferramentas e decidimos usar o sal por vários motivos. Sugiro que você experimente sal, ansioso, fantoche ou chef para ver qual deles você mais gosta.
No geral, todos fazem praticamente a mesma coisa :)
Para responder à sua pergunta, essas ferramentas foram projetadas especificamente para o seu caso de uso, e a mudança para o sal economizou centenas de horas de trabalho manual.