Sim, com um openssh suficientemente moderno, há um truque: use o AuthorizedKeysCommand. Esta opção de configuração permite especificar um comando externo para recuperar chaves SSH. Aqui você pode colocar a lógica como recuperar chaves SSH do LDAP, mas também qualquer outra lógica desejada. Contanto que você aceite apenas a autenticação baseada em chave, não retornar nenhuma chave fará com que a autenticação falhe.
Em versões mais antigas do openssh você pode usar o ForceCommand, mas isso é um comando forçado após autenticação, não um comando que é executado antes da autenticação. No entanto, funciona com autenticação baseada em senha e chave.
Se você quiser oferecer suporte à autenticação baseada em senha e desejar se conectar à fase de autenticação, será necessário gravar seu próprio módulo PAM e torná-lo necessário para a autenticação SSH. Essa não é a maneira mais trivial e não é chamada para autenticação baseada em chave.
Se tudo o que você deseja é bloquear endereços IP com muitas falhas de autenticação, o fail2ban também pode ajudá-lo, não exigindo alterações na configuração do SSH.