A resposta curta é que você não pode.
Quando você monta um diretório do host dentro do convidado, eis o que acontece. O VirtualBox vem com um driver de sistema de arquivos para o sistema operacional convidado que armazena arquivos, passando por uma interface de VM especial em vez de acessar diretamente um dispositivo de armazenamento. O processo do VirtualBox no host interpreta as solicitações que chegam através da interface, fazendo acessos de sistema de arquivos no nível do usuário de variedade de jardim.
Agora considere a situação simétrica. Você quer acessar arquivos no convidado. Ok, então o VirtualBox deve vir com um driver para o convidado que lida com as consultas do sistema de arquivos que chegam através de uma interface da VM. Teria que haver um componente do kernel (porque uma interface de VM se parece com hardware para o sistema operacional convidado) e, opcionalmente, um componente de usuário para realmente acessar os arquivos (não necessariamente, isso é semelhante a um servidor NFS que pode ser feito no kernel ou em userland (o front end de um servidor NFS passa pela rede, de modo que esse bit é factível em userland)). Então, no lado do host, você precisaria de um driver do sistema de arquivos que se comunica através da interface da VM. Os sistemas de arquivos normalmente são manipulados pelo kernel, mas podem ser mediados para um processo do usuário (é o que o FUSE faz). Portanto, um sistema de arquivos de propósito especial seria possível, mas mais envolvido do que no caso simétrico. Há também muito menos demanda por isso. Até onde eu sei, não existe esse sistema de arquivos de propósito especial para nenhuma das principais implementações de VMs.
Eu tenho medo que você tenha que usar um sistema de arquivos em rede como NFS, Samba ou SSHFS.