Quando você entra na caixa, você está fazendo uma conexão entre seu computador e o servidor; é como se você estivesse sentado em frente ao servidor, olhando para um terminal. Quando você executa o wget, o servidor usa sua conexão de internet para baixar o arquivo, não a sua conexão de internet doméstica. Espero que este gráfico ajude:
Uma conexão SSH: home === > através do seu ISP === > ISP da caixa linux === > caixa linux
Um wget: caixa linux (acabou de receber um comando para wget) === > ISP da caixa linux === > servidor de download
Isso significa que a conexão entre a caixa linux e seu ISP é de 20 MB / s. Sua conexão de internet é mais lenta a 1Mbit. (Também percebo que 1Mbit / s não é o mesmo em 1 Mbyte / s; Mb = megabit, MB = megabyte)