Talvez eu tenha encontrado, foi a ordem das regras.
Eu movi manualmente todas as regras ALLOW para baixo e todas as regras DENY no topo do arquivo /etc/ufw/user.rules e recarreguei o ufw, e agora a carga no meu servidor é MUITO menor.
Talvez isso tenha sido suficiente, mas nos próximos dias eu ainda estou procurando o IP bloqueado no meu access.log, esperando não encontrá-los.