Você deve conseguir isso removendo todas as permissões da unidade e adicionando SYSTEM e sua conta com Controle total. Adicionar o grupo Administradores local também seria uma boa ideia, a menos que os usuários que você está tentando evitar também sejam administradores. É provável que você tenha realmente negado permissão para a unidade por meio do grupo de todos ou usuários, que sempre sempre substitui as configurações permitidas.
A simples remoção de todos os grupos e usuários de lá impedirá que as pessoas vejam o conteúdo se não estiverem explicitamente na lista (ou receberem acesso por meio de um grupo na lista).