Sim, está correto. A razão pela qual você não pode usar sua placa wireless integrada ao executar o Kali no VirtualBox é que sua placa wireless provavelmente usa PCI (e) que o VirtualBox não suporta passar para a sua máquina virtual.
Ao inicializar o Kali a partir de um stick USB, o Kali terá acesso direto à sua placa wireless e, como tal, funcionará.