Se você adicionar a opção -C ao ssh, compactará os dados antes de criptografá-los. Dependendo da velocidade da sua conexão e, suponho, da velocidade da sua CPU, isso pode fazer a diferença. Voltando aos velhos tempos dos modems dial-up, isso fez uma enorme diferença, e eu vi isso fazer uma diferença mensurável nos modems a cabo que executam o VMWare Workstation a partir de um cliente X remoto. Sua milhagem pode variar.