Ou (adicionalmente) exporte esse subdiretório no VirtualBox e monte-o da mesma maneira, ou monte a pasta principal em um ponto de montagem temporário e use uma montagem de ligação para montar o subdiretório no local real:
mount -t vboxsf vm_shared /mnt
mount --bind /mnt/subdir ~/shared/