A limitação é certamente os buffers codificados em SSH e os buffers adicionais codificados no cliente SCP. Você pode contornar isso com o patch ssh HPN mencionado por ewwhite, mas primeiro consideraria outros métodos em vez de modificar seu daemon ssh. Ou crie um segundo daemon ssh personalizado, se precisar.
Se o seu tráfego precisa ser criptografado, existem várias maneiras de configurar uma VPN entre os hosts, então você pode simplesmente usar métodos tradicionais, como o rsync nativo (rsync host :: resource / path vs. rsync host: / path ) ou NFS. O rsync nativo é mais fácil de proteger se você estiver usando uma configuração vpn ad-hoc como o OpenVPN, o Tinc ou o IPSEC nativo embutido no kernel.
Para verificar se a rede não é o seu problema, crie um compartilhamento NFS ou inicie o rsync como um daemon e use o protocolo rsync nativo (sem usar o ssh). Para alcançar 10gb / s, você precisará ajustar os tamanhos do buffer em /etc/sysctl.conf (não está lá por padrão) e provavelmente precisará ajustar as opções padrão dos seus drivers gig-e via /etc/modprobe.d/driver -name.conf que você precisaria ler em cima.
Editar
Se você está apenas olhando para testar suas placas de 10Gb, então ative o iperf3 como um servidor em uma máquina e use o iperf3 como um cliente na outra máquina. Você deve ser capaz de encontrar isso no repo EPEL se estiver usando centos / redhat ou você mesmo pode compilá-lo. iperf3 mostrará a velocidade máxima que seus servidores podem potencialmente obter sem contar a sobrecarga do aplicativo, então será necessário ajustar o sysctl.conf, as opções do driver do módulo gig e obter velocidades mais altas se você precisar isso.