Algumas coisas que me ajudaram:
- Desativar USB3 ("XHCI") temporariamente nas configurações do sistema BIOS / UEFI. Algumas instruções sugerem usar uma porta USB diferente (por exemplo, uma com suporte somente a USB2), mas isso não me ajudou.
- Edite / adicione temporariamente /etc/modprobe.d/blacklist-local.conf e adicione as linhas "blacklist usb_storage" e "blacklist keucr" a ele. Reinicie, mas note que você perderá o acesso a qualquer armazenamento USB como ele diz.
Depois disso, consegui montar um leitor de cartão SD no VirtualBox, mesmo sem o filtro USB, mas apenas selecionando-o no menu USB durante o tempo de execução.
Ubuntu 12.04.4 LTS (3.11 kernel), placa-mãe Asus Z87, o mais recente VirtualBox.