Instale o Samba no host Ubuntu e compartilhe-o "nativamente", sem qualquer sobrecarga de virtualização. Você provavelmente obterá maior taxa de transferência de rede através de drivers nativos do Ubuntu, ou seja, com a ajuda do descarregamento de TCP do hardware (depende da placa de rede).
O benefício de usar pastas compartilhadas do samba sobre o virtualbox é que você pode acessar o compartilhamento de rede do samba (Windows) de qualquer VM ou máquina física, executando Windows, Mac ou Linux.