Depende do modo de ligação. Você provavelmente está usando o modo 4 (802.3ad), que requer um switch que suporte a agregação de link dinâmico IEEE 802.3ad. Mude para o modo de ligação 6 (balance-alb) ou 5 (balance-tlb) e veja o que acontece, esses modos não dependem do suporte de switch.
Eu poderia expandir essa resposta se você postar como configurar o vínculo e o que você está tentando alcançar (balanceamento de carga? tolerância a falhas? ambos?).