Não, você não pode. É assim que o Google Drive é projetado para funcionar. Você precisa pensar na pasta do Google Drive como compartilhada, não no seu pequeno espaço de trabalho particular.
Se isso for muito difícil, você precisará trabalhar com o drive somente através do seu navegador da web, não através da pasta integrada.