Não conheço nenhum servidor FTP que, por padrão, imponha restrições de velocidade de download.
Isso provavelmente se deve a um caminho congestionado (ou lento) em algum lugar entre o cliente e o servidor. Como tal, provavelmente há muito pouco que você possa fazer sobre isso.