Parece que o roteador não está manipulando o multicast (que é o que o Bonjour usa) corretamente. Existe uma possível correção mencionada aqui embora possa não funcionar com o seu modem em particular.
De qualquer forma, o multicast bridging é o recurso que você deseja, embora seja difícil determinar se um roteador o suporta sem realmente testá-lo. Se você está feliz com redes separadas para redes com e sem fio, uma opção é comprar um roteador com suporte para OpenWRT , em seguida, executando Avahi como um refletor mDNS entre eles.