Não é só você.
Veja aqui: link
Basicamente, a especificação do WiFi diz que qualquer adaptador sem fio só pode ter um endereço MAC, o que torna a ligação sem fio uma impraticabilidade.
Existem vários bugs em várias formas descrevendo sintomas ligeiramente diferentes apresentados no VirtualBox ( 735 , 2975 , 5503 , etc.) mas a causa subjacente em cada caso é a ponte de uma interface sem fio.
Acabei de adicionar interfaces somente de host para esse tipo de atividade.