A causa mais comum deste problema é que você não adicionou seu usuário ao grupo vboxusers.
Observe que o gnome 3 (o que o 11.10 usa) removeu a capacidade de adicionar grupos de seu applet de gerenciamento de usuários. Veja esta pergunta para usar a antiga ferramenta GUI ou use a linha de comando.
Você precisará fazer log-ou e log-in novamente para poder usar USB no VirtualBox.