poucas coisas:
- você tentou ajustar o mtu para fazer uso de jumbo-frames
- tem a certeza absoluta de que a ligação entre os dois servidores não tem perdas de pacotes?
- o ethtool mostra algum erro nas interfaces nas duas extremidades?
- o que o top / onop diz durante o teste prolongado - você vê algum dos núcleos totalmente ocupados pelo iowait?
você [provavelmente] não atingirá 10gbit completos em uma única sessão tcp, mas você pode fazer alguns ajustes adicionais para se aproximar dele, aprimorando o manuseio do tcp e a comunicação com a própria placa de rede - dê uma olhada aqui ou aqui .