Isso acontece porque, por padrão, o Linux considera um endereço IP como uma propriedade de todo o host, não apenas uma interface específica; portanto, uma solicitação ARP de fora (que será recebida por ambas as interfaces) causará uma resposta de todas as interfaces, não apenas aquela com o IP solicitado.
Veja esta resposta para uma pergunta semelhante à sua (há também uma outra maneira de envolver arptables descritos lá).