O VirtualBox tem a funcionalidade de filtro USB, usando o qual você pode passar o dispositivo USB escolhido para ser visto apenas pelo convidado e não pelo host.
Assim, você pode passar o seu celular para o guest vm e usar o tethering somente lá.
Observe que você pode configurar filtros USB para todos os convidados, mas só pode passar o dispositivo ativamente para uma única vm.
E observe que a funcionalidade do filtro USB precisa do VirtualBox Extension Pack, que é gratuito para uso pessoal, mas pago pelo uso da empresa.