Tudo vai se reduzir ao tamanho da imagem do contêiner. Na sua área de trabalho, você armazena a imagem em cache, para que ela seja executada instantaneamente. ACI, é stateless, então ele não armazenará em cache sua imagem, cada vez que você iniciar uma instância, ela terá que baixá-la do repositório.
Dê uma olhada no tamanho da sua imagem, veja se você pode reduzi-la. Se você iniciar uma instância ACI com apenas um contêiner alpino mínimo, será mais rápido.