Sim, é verdade, exclua as regras criadas por você, incluindo sua regra de bloqueio de todas as regras. Crie uma nova regra de permissão e permita apenas o tráfego nessa porta a partir de um IP remoto específico e, em seguida, especifique o IP do seu escritório.
É um pouco complicado. Mas o firewall do Windows bloqueia todo o tráfego por padrão. Então você só precisa adicionar a regra acima.