Teoricamente, a velocidade deve permanecer a mesma que o comando de cópia executado remotamente ainda é executado localmente (ou seja, a criptografia não deve diminuir a velocidade da cópia, pois somente o seu comando é criptografado e não os arquivos durante a cópia).
Como você mediu essas velocidades? Você usou exatamente o mesmo comando nos mesmos arquivos? As velocidades de cópia podem variar muito facilmente, dependendo dos arquivos reais e do comando (parâmetros) usado.