Isso ocorrerá porque, assim que você colocar um endereço IP como 10.0.0.163
em uma interface, uma rota será adicionada para essa rede a partir dessa interface. Se você precisar indicar que um endereço específico deve ser alcançado através de uma interface específica, você precisará de uma rota estática para ele, assim:
# ip route add 10.0.0.161/32 dev eth1
Anote o / 32 para uma única rota de endereço IPv4.
Você também pode fazê-lo com roteamento de origem, truques do iptables e assim por diante, mas acho que uma rota estática é a maneira mais simples e óbvia.
Como um aparte, é uma má idéia para duas interfaces na mesma rede, então 10.0.0.164
provavelmente deve ter uma máscara de rede que garanta que ela não esteja na mesma rede que 10.0.0.163
, por exemplo. 255.255.255.255
.