Enquanto /media/sf_shared pertencia a root:vboxsf , /media pertencia a root:root . Como só estou usando para conter a pasta compartilhada, eu chown -ed para root:vboxsf e isso resolveu o problema. Não tenho certeza por que, embora.