Como sempre, encontrei a solução logo depois de perguntar. Eu realmente conheci este, apenas esqueci de fazer isso. É preciso estar no grupo vboxusers
para ter acesso aos dispositivos usb. É tão simples quanto rodar
sudo gpasswd -a <user> vboxusers
em um terminal. Para o Ubuntu eu acho que é
sudo useradd vboxusers