Usar wget (ou curl) é provavelmente sua melhor aposta. Se sua senha contiver metacaracteres de shell (como '$'), você precisará citá-la na linha de comando. Por exemplo:
wget -O filename 'ftp://user:pass@hostname/filename'
O uso de aspas simples inibe a expansão de '$' dentro da string citada.