Isso geralmente é um buffer que é preenchido. Você pode comparar isso com o tráfego na rodovia, se houver menos carros do que a rodovia foi projetada, tudo vai bem. Mas se houver mais carros do que o limite, o tráfego na rodovia diminui porque a rodovia não aguenta. A CPU simplesmente fica mais alta porque está constantemente esvaziando e preenchendo pequenas partes do buffer, causando muito mais ciclos. A latência de 100 ms pode adicionar rapidamente vários segundos para obter todos os dados no buffer.
O SSH é projetado para executar comandos, então você pode querer usar outra maneira de realizar isso ou tentar repensar o que exatamente você está fazendo. Eu não vejo por que você deveria estar remotamente editando o PHP (que não faz sentido hoje em dia) ou porque você copiaria um arquivo quando você pode simplesmente enviá-lo ...