Realmente vale a pena? Contanto que seu site não tenha nenhuma vulnerabilidade que os bots estejam procurando, é apenas outra entrada no seu log de erros. A menos que esteja realmente causando carga excessiva no servidor, é praticamente um problema.
Se você estiver executando algo popular no sentido de uso disseminado e explorações de vulnerabilidades e não estiver confiante em manter-se atualizado sobre correções de segurança, então, sim, o mod_security pode ser uma camada de segurança. Note, no entanto, que mod_security irá quebrar coisas com quaisquer regras úteis, a menos que esteja ajustado apropriadamente para seu (s) site (s).
Eu não acho que mod_security lhe dará uma resposta de tar-pit ou null como você está pedindo. Se você quiser dizer a alguma (uma coisa) para irritar, dê a eles um 403 Proibido em qualquer URL específica com a qual você esteja especialmente preocupado, definindo as regras de reescrita apropriadas.