Normalmente, a coisa que as pessoas fazem é ter duas interfaces em seu balanceador de carga (no seu caso nginx), uma das quais é voltada para a Internet e uma delas não é. Conecte a última interface a uma rede que contenha seus servidores e não seja acessível pela Internet.
Este é um caso de uso bastante comum para VLANs.