O que você está descrevendo é o que acontece quando a tabela CAM do switch está cheia, onde ela não consegue mais aprender o endereço MAC e encaminha os pacotes para todas as portas. Pode ser difícil descobrir se esse é o problema com um switch não gerenciado, mas com um switch gerenciado você deve ser capaz de exibir a tabela CAM.
O que também ajudaria nessa questão é um diagrama da rede.
EDITAR:
A partir do diagrama adicionado, você pode ver que você tem dois problemas. O primeiro ainda permanece onde o switch vai encaminhar o pacote para todas as portas, se ele não souber para onde ir. Verifique os logs para ver por que seu endereço MAC está sendo removido da tabela.
O segundo problema é que os roteadores recebem o pacote e o enviam de volta ao switch, que, por sua vez, o envia para todas as portas (exceto as suas próprias). Existe uma porta específica configurada com uma rota padrão, 0.0.0.0?