Não é exatamente como "texto puro" como Pepino, mas serverspec (baseado em Ruby, RSpec) e testinfra (Python) ambos fornecem a capacidade de escrever especificações para suas máquinas para validar que estão no estado que você quer.
BTW, o teste para a sua infra-estrutura é incrivelmente importante, embora não tanto "executado em todas as máquinas", mas para validar que o seu gerenciamento de configuração está fazendo o que você espera. Regressões não são incomuns, e saber que uma mudança em seus manifestos não impediu que uma máquina seja configurada corretamente é muito reconfortante.
É surpreendentemente fácil fazer uma mudança que impeça, digamos, que um pacote seja instalado, algo que você nunca descobrirá até construir uma nova máquina e o pacote não aparecer, mesmo que esteja em todos as outras máquinas. Assim, integre seu conjunto de testes de infraestrutura ao seu sistema de CI, fazendo construções incrementais e limpas (do zero) em cada commit. Em seguida, acene sua suíte de testes sobre as máquinas depois que elas forem construídas. Isso validará que seu gerenciamento de configuração ainda está fazendo tudo que deve ser.