Sim, você não está tomando nenhuma medida para garantir que os endereços IP dos quais você se conecta ao sistema sejam excluídos, para que você possa se bloquear fora do sistema.
Uma solução melhor é instalar o fail2ban que é amplamente usado para fazer exatamente o que você está tentando Faz.