O SCP é uma ferramenta simples para transferir arquivos. Não é projetado para ter super desempenho. Ele tem muita sincronização, então a velocidade é strongmente afetada com o tempo de ida e volta. Ele também tem pequenos buffers (basicamente 2048 B - source ).
Se você deseja desempenho, o SFTP deve ser uma escolha melhor. Se você deseja mais desempenho, existe o patch HPN para OpenSSH que deve usar outras técnicas avançadas para obter velocidades ainda maiores.