Você tem um servidor SSH neste sistema? Se sim, você pode usá-lo para se conectar ao seu sistema usando o protocolo sftp, que é basicamente o comando FTP via SSH. E não há necessidade de outro banco de dados do usuário, basta reutilizar o que você usa para o SSH. Como cliente SFTP, gosto do filezilla.
Se não, o vsftpd (um excelente servidor FTP) pode ser configurado para habilitar FTP sobre SSL. Você precisará de um certificado autoassinado e alterar alguns parâmetros em vsftpd.conf (como ssl_enable = YES).
Além disso, se você sabe que irá se conectar a este servidor FTP apenas de um endereço IP, você pode adicionar uma regra de firewall (iptables / netfilter) para permitir conexões somente deste IP.