É por causa do USB ou seu tamanho?
USB. Essa máquina tem 3 portas USB 2.0. Aqueles são lentos.
Todo o resto também parece bastante lento - por ex. salvar arquivos, iniciar / fechar aplicativos .... Eu verei uma melhora no desempenho se eu instalar um disco rígido substituto?
Sim. Definitivamente.
Existe alguma maneira de evitar isso?
Você provavelmente deseja instalar outro programa sftp. Existem muitos, mas o filezilla é muito bom.