Na minha experiência, você é forçado a usar o PAM para autenticar usuários usando o SSH. Você pode querer olhar para pam_pwdfile se você deseja manter as coisas simples para armazenar usuários e criar um /etc/pam.d/ ssh arquivo em conformidade.
Você provavelmente deseja criar acessos chrooted somente para SFTP para seus usuários, o OpenSSHv5 permite que você o faça de forma muito simples com o ChrootDirectory ( exemplo rápido aqui ).