Seu problema é quase certamente relacionado ao roteamento, mas você não nos deu um diagrama de rede suficiente para dar uma ajuda específica.
Você pode adicionar algumas rotas estáticas para cobrir as redes que devem ser apropriadas para cada interface.
Ou você pode configurar várias tabelas de rotas e algumas regras que selecionam a tabela de rotas com base na interface.