vsftpd é para FTP, FTP por sua própria natureza não é criptografado (ftp over ssl é outra questão)
Você não pode configurar a autenticação de chave pública com o vsftpd - você está ficando confuso entre FTPs e SFTP, que são dois protocolos diferentes.
Para usar a autenticação de chave pública para SFTP é apenas uma questão de instalar sua chave pública no servidor, como você faria para o ssh como detalhado aqui - link
Com esta configuração, você pode usar a implementação de autenticação SFTP do OpenSSH.
Se você estiver falando sobre a configuração de FTPs ou FTP sobre SSL, este guia será útil - link
Este exemplo, no entanto, não é auth de chave pública, é apenas autenticação do lado do servidor e útil para criptografar sua conexão FTP.