Eu não penso assim, já que o keyphrase é usado no lado do cliente para destravar a chave. Eu não acho que o servidor tenha conhecimento de se uma frase está na chave. Além disso, o usuário pode desbloquear suas chaves em seus keychains ssh-agent.
Você faria melhor usar a chave pública como um segundo fator enquanto ainda precisa de uma senha. Isso permite que você implemente uma política de senha mínima de força decente.