A porta na qual você está conectando o comutador está no roteador configurado para ser uma porta de tronco (em oposição a uma porta de acesso)? Isso pode explicar por que a porta cairia se visse um switch com múltiplos endereços MAC conectados a ele.
Definições básicas de portas de comutação e tronco que obtive dos fóruns da Cisco:
Existem dois tipos de switchports: tronco ou acesso.
Uma porta de acesso é tipicamente para um comutador para conexão de host e esta porta é atribuída a apenas uma VLAN.
Um tronco é tipicamente um link entre dois switches ou um switch e um roteador. Isso permite que várias VLANs percorram a interface / link.