Resolvi minha própria pergunta. Parece que quando criei a regra, adicionei o endereço IP que queria bloquear ao grupo "Endereço IP local" e não ao grupo "Endereço IP remoto". Quando mais tarde eu adicionei o IP ao grupo remoto, depois que a regra foi criada, ele ainda não entrou em vigor. No entanto, quando criei uma nova regra e adicionei o endereço IP que queria parar corretamente na seção remota, tudo funcionou como deveria.
Claro, algumas horas depois eu estava sendo atingido por outro endereço IP.