Isso se deve a uma combinação interessante do comportamento "ARP promíscuo" do Linux e ao armazenamento em cache do ARP. Essencialmente, o que está acontecendo é que o wifi, apesar de não ter o endereço IP em si, está recebendo solicitações ARP e está enviando respostas ARP. Se essa é a resposta ARP, a outra máquina na sub-rede local (geralmente o roteador) recebe primeiro, é isso que vai para o cache ARP. A pausa no tráfego é resolvida quando a entrada ARP se torna obsoleta e a solicitação ARP é repetida, ponto no qual a outra interface fornece a única resposta e tudo continua normalmente.
Para impedir que o Linux faça isso com "ARP em todas as interfaces para qualquer endereço configurado", você precisa definir o sysctl net.ipv4.conf.<interface>.arp_ignore
to 1
.