Sim. csf.allow realmente fala sobre isso, e você precisa adicionar seu IP ao csf.ignore para prevnt ele.
Se um IP na lista de permissões (csf.allow) usar a senha errada mais de 5 vezes, elas serão automaticamente adicionadas ao csf.deny? Em caso afirmativo, o csf.deny OVERULE csf.allow será negado o acesso?