Se as suas chaves SSH já tiverem uma frase secreta (que deveriam), então você já está fazendo dois fatores, e IMO, adicionando a senha da conta local a esse processo, não vai dar muito além de usuários irritados.
Se sua intenção for permitir que apenas dois usuários façam login via SSH, você poderá usar os recursos de configuração AllowGroups e / ou AllowUsers em seu sshd_config.