Eu tenho um grande número de arquivos (arquivos de texto) escutando no servidor http.
Estou usando o cron-job para baixar esses arquivos, pois o número de arquivos aumentará drasticamente. Estou usando o wget da seguinte maneira para baixar os arquivos.
wget -m http://<URL>
No entanto, está demorando muito para sincronizar e fazer download de novos arquivos.
Existe alguma alternativa que eu possa usar e será mais rápido que wget?
Tags rsync wget curl http apache-httpd