Para que isso funcione para mim, tive que adicionar um passo à resposta aceita e definir a seguinte variável adicional:
net.ipv4.conf.all.rp_filter=2
Não precisei definir arp_ignore
para 2, 1 pareceu funcionar. Eu também não precisei definir arp_filter
para 1 na minha rede.
Então a solução completa para mim foi:
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.all.rp_filter=2
Encontrei a solução para o meu problema aqui