Encontrou a resposta certa na página man do ufw:
ufw supports per rule logging. By default, no logging is performed when a packet matches a rule.
Assim, mesmo que os pacotes desse IP estivessem sendo negados de qualquer maneira, para evitar que eles mostrassem nos logs, eu tive que criar uma regra de negação explícita mencionando especificamente o endereço IP / porta.