O bom e velho File Transfer Protocol (FTP) foi inventado para transferir arquivos. Para usá-lo de forma segura, você pode usar ftps (que não é sftp, mas ftp over ssl) ou configurar uma conexão vpn para segurança.
Quando pesquiso vsftpd + ssl, este é o primeiro resultado que parece ser um ponto de partida razoável.