O SSH é bastante lento como um protocolo para transmissão maciça de dados, eu acertei uma fração da minha velocidade de rede / disco ao fazer transferências como essa também. Uma coisa que você pode fazer para melhorar o desempenho - embora eu não tenha idéia de como você o implementaria - mude a "cifra" para o blowfish, que acredito ser o mais rápido dos cifrões SSH. Eu não estou realmente qualificado para comentar sobre a segurança geral disso, mas estou imaginando que você está empurrando LAN e não muito preocupado com o hacking bastante dedicado que seria necessário para invadir o fluxo. É claro que a mudança para um protocolo não criptografado fornece o melhor ganho.
(ssh -c blowfish / scp -c blowfish são os argumentos ssh padrão para esta cifra)
(se o rsnapshot é baseado em rsync, ele costumava ter seu próprio protocolo rsync: //, que não tem as despesas gerais do ssh, que pode ser outro caminho para você também)