Tudo depende dos seus requisitos. Por exemplo, você pode ter um site particular que precisa acessar apenas por você e alguns outros amigos / parceiros, etc. Nesse caso, você só pode permitir IPs específicos e negar o restante.
No entanto, em alguns outros casos, quando você tem um site público, não pode simplesmente fazer isso porque não sabe quem pode visitar seu website. Outras coisas podem ajudar nisso é especificar o limite superior para solicitações / segundo por IP.
A regra fundamental de segurança é permitir o mínimo possível de reduzir os riscos.