É possível que um único cliente ftp abra várias conexões com um servidor, mesmo que pareça uma para você, pode haver várias conexões entre seu host e o servidor.
Em um programa como filezilla , você pode selecionar Arquivo - > Gerenciador de sites Na guia Configurações de transferência, defina o campo Limit number of simultaneous connections
como, no seu caso, menos de 4.