Existe um projeto chamado HPN-SSH ( High Performance SSH / SCP ), é o cliente padrão no FreeBSD desde um tempo atrás, então eu acho que poderia ser considerado estável. Eu notei um pequeno ganho de velocidade para / do meu servidor de backup na minha LAN, mas o ganho real de HPN-SSH como eu entendo é a distâncias mais longas (leia mais sobre isso em seu site). Eu não sei se esse é o seu caso.
Mas se você realmente quer melhorar o desempenho, pode mudar para algoritmos de criptografia mais simples, como blowfish ou archfour. Em geral, não vejo isso como um problema.