Eu encontrei a resposta ... você pode fazê-lo de dentro do Outlook, indo para as propriedades da pasta pública e, em seguida, na guia Permissões, você pode alterar as permissões de usuário padrão. Eu configurei para None neste caso e a pasta desapareceu para qualquer usuário sem nome.