Depende dos outros serviços em execução nessa caixa. Se for um servidor web com uma loja online, você pode estar perdendo negócios por causa de um host negado incorretamente - embora isso pareça improvável, especialmente se você estiver usando apenas seus próprios dados do denyhost.
Por outro lado, se você está executando outros serviços que podem ser menos seguros do que o seu servidor ssh bloqueado - pode valer a pena manter a negação para proteger seus outros serviços se o atacante se cansar do seu ssh, ou mesmo se você está usando dados compartilhados.
Longo e curto, se você não se preocupar com falsos positivos (por exemplo, as pessoas que não conseguirem acessar o servidor têm outra maneira de entrar em contato com você e isso não prejudicará qualquer relação com eles!) então não há razão para não negar os anfitriões. Também é divertido;)