Bem, por um lado, você está usando sub-redes inconsistentes / sobrepostas. 192.168.81.129/25 faz parte do 192.168.81.54/24. Então, primeiro, faça ifconfig eth0 netmask 255.255.255.128. Em seguida, já que posso imaginar que a eth0 esteja conectada à mesma rede que a eth1, você vai querer restringir a rapidez com que o seu computador responderá ao ARP.
Você desejará configurar as seguintes entradas sysctl, manualmente ou em /etc/sysctl.conf:
net.ipv4.conf.all.rp_filter=1
net.ipv4.conf.all.arp_filter=1
net.ipv4.conf.all.arp_announce=1
net.ipv4.conf.all.arp_ignore=2
net.ipv4.conf.all.shared_media=0
Atualizando isso para incluir mais informações. Normalmente, o linux responderá a uma solicitação ARP para um endereço IP atribuído ao computador com o endereço MAC da NIC na qual ele recebeu a solicitação, independentemente de o IP solicitado ter sido configurado na NIC de resposta ou não. Além disso, o Linux aceitará, por padrão, um pacote IP em qualquer NIC destinada a um endereço IP configurado localmente no computador. Então,
As configurações de sysctl acima restringem esse comportamento, de modo que o Linux só responderá a uma solicitação ARP para um IP se ele for recebido na NIC à qual o IP está atribuído e se a solicitação for de um endereço IP acessível por essa NIC. Os tunables são documentados no arquivo ip-sysctl.txt na distribuição de fontes do kernel.
O que você está vendo é um comportamento intencional e o que estou sugerindo muda as coisas para que elas ajam mais como você parece desejar. Boa sorte.