Não sei se entendi muito bem o seu problema, mas sei que as interfaces de ponte e o UDS multicasst / boradcast podem acionar alguns comportamentos de eratics. Para resolver isso, talvez você queira desabilitar a transmissão multicast na interface da bridge:
echo 0 > /sys/devices/virtual/net/$IFACE/bridge/multicast_snooping
Embora eu não conheça bem o virtualbox para ter certeza de que ele usa os utilitários de bridge linux apropriados para configurar os adpaters de bridge ...