Sim, isso pode ser normal. O FTP não é um protocolo muito bom, e há muitos retrocessos e encaminhamentos para cada arquivo - e essa latência pode aumentar muito rapidamente.
O download por meio de um arquivo ZIP é muito mais eficiente, pois pode otimizar a transferência para um único bloco de dados grandes e também compactar os dados. Você não especificou os dados, mas imagino que os dados sejam muito compactáveis.
Algumas matemáticas: 180k arquivos @ 75k cada um é 13,5 GB de dados. Com 3 MB por segundo (o que soa suspeito, os megabits normalmente citados do ISP, não megabytes), sem compactação, isso levaria de 1 a 1,5 horas para realmente transferir os dados. Se a velocidade é de 3 megabits, o tempo seria de 10 a 15 horas ... e isso exclui a latência, o que seria um fator muito grande. Você não avisou a latência entre os sites, mas vamos dizer que a sua viagem de ida e volta de 10 ms (que estaria na extremidade inferior - você estaria olhando para um, pelo menos, um adicional de 30 minutos. Eu imagino na realidade você estaria olhando para um extra 2-4 horas).