Não é possível com o openssh puro. Mas você pode conseguir trabalhar usando o PAM. Conceitualmente, você deve ser capaz de /etc/pam.d/sshd
uma linha com
password required pam_exec.so /usr/bin/test -s ~/.ssh/authorized_keys
Eu não testei, mas você deve ser capaz de compensar os bits que faltam, se algum.