Parece que o switch está tocando se o failover funcionar.
Qual é a sua configuração para bond-mode em /etc/networking/interfaces ?
Aposto que é bond-mode active-backup , que fornece apenas failover.
Tente alterá-lo para bond-mode balance-rr , que faz o balanceamento de carga.