Eu simplificaria e usaria o DNS. Obtenha a lista de IPs do servidor FTP e adicione registros A para um subdomínio como ftp.example.com. Todos que usam o domínio devem obter um servidor bastante aleatório e a carga deve ser distribuída uniformemente.
O FTP é provavelmente uma das coisas mais difíceis de balancear a carga. A menos que você tenha uma necessidade real, eu ficaria com o DNS.
Se você estiver fazendo o upload e o download de arquivos com menos de 5 G, talvez seja melhor usar o S3.