É uma questão complexa. Mas, em geral, para implementar esse tipo de automação, você precisa criar imagens de container corretas e injetar variáveis dinâmicas posteriormente (IP / hostname e credenciais). A regra principal que simplifica a criação de instâncias de autorregistro é colocar apenas um Worker por contêiner. Então você pode usar um nome de máquina pré-definido no host-slave.xml bem como especificar usuário e password via variáveis env para poder conectar cada novo Worker ao Controller.
O clustering no modo de domínio pode ser uma tarefa complicada, por favor, dê uma olhada no artigo que fornece dicas e sugestões sobre como executar Domínio gerenciado da WildFly em contêineres: Micro cluster e dimensionamento automático - visão geral de alto nível dos possíveis problemas ao migrar o WildFly de VMs para contêineres.