A resposta à minha pergunta foi mais fácil do que eu pensava, arp_ip_targets pode ser adicionado e removido assim:
echo +10.0.0.1 > /sys/class/net/bond0/bonding/arp_ip_target
echo -10.0.0.1 > /sys/class/net/bond0/bonding/arp_ip_target
que nem precisa reiniciar a interface!