Se você estiver usando o openssh, não acredito que possa fazer isso. Existem outros daemons SSH2 que permitem diretivas SSH2 estendidas, fornecendo a você uma diretiva chamada "RequiredAuthentications" e "AllowedAuthentications"; ambos são listas separadas por vírgulas. Você pode ver um gráfico bacana de compatibilidade em:
Se este é um requisito que você tem, você deve alterar o seu daemon ssh. A configuração seria então:
AllowedAuthentications password,publickey
RequiredAuthentications password,publickey
Felicidades