O grupo Todos é um meta-grupo que inclui, por definição, todos, incluindo membros de outros grupos. Normalmente, isso não seria um problema, a menos que você negue explicitamente o acesso a todos. Quando você faz isso, todo mundo está ... bloqueado.
Portanto, verifique novamente como você está "removendo o acesso". Simplesmente deixar o grupo Todos na lista Permitir não deve causar o problema que você descreve, mas colocar todos na lista Negar. Gostaria de verificar se todos não foram incluídos em um grupo de segurança Negar relacionado a essa impressora.