A resposta para isso é definitivamente o gerenciamento de configuração formal. Os três grandes concorrentes nesse espaço atualmente são Chef, Puppet e Cfengine. Basicamente, você precisa aplicar a abordagem de desenvolvimento à administração do sistema: escreva um 'programa' que defina o estado da máquina e aplique-o (obviamente, isso é uma simplificação grosseira).
A verdade é que muitos de nós, do tipo neckbeard crocante, os administradores de Linux 'magicamente' configuram as máquinas porque internalizamos completamente o conhecimento ao longo de muitos anos de repetição. Eu sei aproximadamente a lista de arquivos de configuração que eu preciso tocar em qualquer máquina, e eu posso editar manualmente aqueles da memória. Essa é realmente uma maneira terrível de fazer as coisas, especialmente se você tiver mais de um servidor ou mais de um administrador de sistema. Editar manualmente um arquivo de configuração é sempre uma marca de mau planejamento e mau gerenciamento.
Sou um grande fã de usar o Clonezilla mais o arranque PXE para abrir automaticamente um sistema e colocar detalhes suficientes numa configuração do Kickstart para que a máquina esteja na rede e executando a ferramenta CM de sua escolha. Tudo além da lógica mais básica de 'trazer o sistema para cima, colocá-lo na rede' deve ir na sua ferramenta CM, não na sua imagem inicial do sistema ou no Kickstart.
Como ponto de referência, eu atualmente administro cerca de 10.000 servidores unix.