Clique com o botão direito no ícone e clique em "Desmarcar da barra de tarefas".
Para restaurá-lo, inicie o Explorer, clique em seu ícone e clique em "Fixar na barra de tarefas".
Atualização: a abertura foi atualizada com mais esclarecimentos, eis a resposta:
Aqui é um guia sobre como ocultar ícones da unidade de "This Computer" página.
Para a unidade C, você não pode usar o primeiro método, lembre-se também de que a Diretiva de Grupo não estará disponível se você estiver executando o Windows 7 Home Premium ou abaixo.