Você precisa configurar um roteamento baseado em política, não é super complicado, mas seria uma boa idéia ler um pouco sobre o iproute2 e como usá-lo adequadamente.
Basicamente, você desejará adicionar uma tabela de roteamento específica para cada interface e, em seguida, certificar-se de que os pacotes que chegam ao IP nessa interface sejam roteados novamente através dessa interface. Eu não vou redigitar a página do lartc porque há muitas outras informações que você deve procurar.