Acredito que depende de como o balanceador de carga personalizado (eu acho que o servidor mestre, conforme indicado no seu esquema) e o aplicativo dos servidores escravos podem ser configurados. Existem dois princípios que são frequentemente vistos em balanceadores de carga para fazer um design real em torno do request / reply-routing:
1) Se você pode dizer ao servidor principal para não usar seu próprio endereço ip como o ip de origem, mas em vez disso o ip do cliente (como estava no pacote como ele veio para o servidor principal em primeiro lugar, conforme seu esquemático) ao passar o pacote para os escravos. O servidor escravo irá naturalmente enviar sua resposta diretamente para o cliente e não através do principal. Esta é uma função bastante comum para ver em balanceadores de carga, nós caras de rede, muitas vezes chamada de fonte reescreve "fonte nat" em vez de spoofing ip para distinguir a intenção benigna, e com o qual você deve ser capaz de fazer alguns googles interessantes sobre o assunto.
2) Outra opção de design é incorporar metainformation semelhante ao cabeçalho X-Forwarded-For em http ou o campo remote_addr / remote_host (não se lembra qual) em ajp que é usado para transportar o endereço IP do cliente original como parte do campo de dados, mesmo quando ele foi substituído por um endereço de host intermediário no pacote ip. Se algo semelhante for possível com o uso do protocolo que você está usando, seus servidores mestres precisariam injetar essa metainformação em um campo de escolha. O aplicativo em seus servidores escravos precisaria ser instruído a enviar a resposta para o endereço naquele campo, em vez de enviar para o endereço de origem no pacote de ip. Uma das vantagens desse design é que ele cria excelente logging, já que você obtém acesso a todos os endereços de nó que estiveram envolvidos em um fluxo específico.
Isto é por princípio, na prática você pode tropeçar um pouco se o cliente espera que a resposta do escravo faça parte da mesma sessão que a requisição (e assim por diante). Tudo depende das expectativas do protocolo que você está tentando passar e da infraestrutura que você tem em torno de seu serviço para confundir as coisas para você: -)