O problema era que eu não fazia parte do grupo vboxuser. Para aqueles com o mesmo problema:
Primeiro, verifique se você tem o Virtualbox Extension Pack, isso permite o uso do usb 2.0. O usb 3.0 ainda não é suportado.
Adicionou-se ao grupo de usuários vbox:
sudo usermod -a -G vboxusers <useruame>
Faça o logout e retorne para que a alteração entre em vigor
Ative o controlador USB 2.0 (EHCI) nas configurações para você vm
Se precisar de mais ajuda, consulte este tópico
Crédito para Takkat