Esta pode ser uma duplicata de link .
Em seguida, não tenho certeza do que você quis dizer em "arquivo passwd (Tentei com ambos gerados com" htpasswd "e" openssl ":"
'passwd file' altera uma senha do usuário 'file' ... Então, você provavelmente precisará usar um comando de uma resposta no superusuário:
sudo htpasswd -c -d -b /etc/vsftpd/passwd user password