Eu tive o mesmo problema que você. O grupo virtualboxusers e assim por diante estavam corretos.
Depois de alguma pesquisa, o módulo do kernel não corresponde à versão correta do meu kernel (3.13.0-65-generic) e à minha versão do virtualbox (4.3).
O comando
sudo dpkg-reconfigure virtualbox-4.3
resolveu meu problema.
Espero que isso ajude você se a dúvida ainda persistir.