Os drivers que ele instala permitem a rede Bridged Mode, o que significa que o mesmo adaptador físico de rede pode ser usado pela VM, bem como pelo host, em oposição ao modo NAT. Ele também instala um adaptador de rede Host Only que permite que o host se comunique com as VMs em uma rede separada.
Se você não estiver usando uma rede somente de VM, poderá desativar com segurança o adaptador de rede somente host do VirtualBox em Network and Sharing Settings -> Change Adapter Settings
O VirtualBox também suporta um adaptador de rede paravirtualizado, que requer a instalação de um driver dentro do guest, mas oferece melhor desempenho. Do capítulo 6 do manual:
The "Paravirtualized network adapter (virtio-net)" is special. If you select this, then VirtualBox does not virtualize common networking hardware (that is supported by common guest operating systems out of the box). Instead, VirtualBox then expects a special software interface for virtualized environments to be provided by the guest, thus avoiding the complexity of emulating networking hardware and improving network performance. Starting with version 3.1, VirtualBox provides support for the industry-standard "virtio" networking drivers, which are part of the open-source KVM project.