O cache de charme mantém o charme para que ele não precise ir e fazer o download do charme todas as vezes. Cada nova instância que é girada precisa ter o charme e todas as dependências instaladas, cada instância é uma nova máquina.
Se essa configuração levar muito tempo, como você disse, você pode escrever seu charme para usar ou criar contêineres.
Lembre-se, os charms são uma coleção de scripts que podem fazer o que você quiser.