Eu sugiro que você analise o Docker Swarm, na minha experiência mais fácil de configurar. Ele deve se estender bem do seu docker-compose.yml
atual também.
Você já deve ter o swarm se você executar um mecanismo docker recente, basta ativá-lo executando docker swarm init
. Você pode experimentá-lo em play-with-docker .
Você pode querer olhar para o github de Bret Fisher para algumas amostras. Esse repo é o material de acompanhamento para o curso da autora da Udemy, que também oferece uma boa visão geral.