Isso é o que eu suspeitava. Meu pensamento inicial era que a ligação agiria como uma ponte e passaria pacotes entre duas portas físicas.
A conexão que eu descrevi acima é um link SFP + de 10Gb DirectAttach e minha intenção era fazer isso funcionar sem ter que comprar um switch de 10Gbit separado - eles são muito caros e a configuração acima era simples demais para justificar tal compra .
De qualquer forma, como não havia tráfego entre essas duas portas, a solução mais simples que me pareceu a melhor neste caso foi uma ponte! :) substitui bond0 por br0 que consiste em eth2 e eth3 (correspondendo às portas SFP + 0/1) e voila! O ROUTER que eu descrevi acima age como um interruptor agora, todos os bytes podem encontrar o caminho entre os três hosts e depois de habilitar quadros jumbo em cada um deles eu recebo 9,97 Gb / s em um benchmark iperf :)
Isso marca meu problema resolvido. Se alguém quiser tentar uma solução desse tipo, aqui está um pequeno e rápido tutorial que descreve a criação de uma ponte de rede entre duas interfaces de rede físicas: link