Como @Luis apontou, 'b' = bit e 'B' = byte. iperf
nos ajuda reportando tempos em Mbits / seg:
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.01 GBytes 865 Mbits/sec
O ifconfig eth0
mostra algum erro em qualquer um dos hosts? De seus relatórios, parece que ou a CPU está sobrecarregada em uma das duas máquinas iperf, ou o switch (por favor me diga que não são múltiplos switches) entre eles está sobrecarregado, ou você tem uma constrição de 100Mbits entre seus hosts. Eu encontrei pessoas em cascata de um pequeno switch de 100 Mbit muitas vezes, então é bom saber onde o cabo começa e termina. Você está usando um interruptor inteligente? Isso mostra que suas portas estão ativas em velocidades de gigabit?
Depois de descobrir seu problema, talvez você queira ativar quadros jumbo em seus hosts para obter uma taxa de transferência ainda melhor quando estiver realizando transferências de dados em massa, desde que você tenha uma mudança razoavelmente moderna.