Seria melhor você abandonar a versão -OSE e obter a versão REAL do site virtualbox.org, já que o "teste" -OSE não permite que o USB seja usado, e pode haver outros problemas também. Apenas evite isso. (A versão atual do virtualbox.org é 4.1.4, então você está lamentavelmente atrasado usando a versão 3.2.10 -OSE)
VirtualBox tem repositórios debian disponíveis, veja a seção de downloads do linux para informações sobre o que adicionar para o acesso aos repositórios .
É claro, você pode baixar a versão de 'todas as distribuições' e instalá-la como root, embora você não receba atualizações automáticas a menos que você use o método repo debian (você precisaria se atualizar manualmente)
Esteja ciente de que você também DEVE fazer o download do 'pacote de extensão' (encontrado na página de 'downloads') para ativar o USB 2.0 e alguns aprimoramentos da máquina.
Seu / proc / cpuinfo mostra um processador decente Intel de 2.8Ghz, então os problemas de velocidade dependeriam muito da quantidade de memória que o sistema HOST tem atualmente, quão carregada ela é. Seu 300M para o convidado é bom, contanto que você não esteja instalando a funcionalidade do Xwindows.
Os seus 'discos rígidos virtuais' são pré-alocados ou 'crescem em uso'? 'crescer' é mais lento, mas não muito mais lento, não deve ser uma grande diferença lá. Os HDs virtuais estão localizados em uma unidade externa? Isso diminuirá consideravelmente os acessos ao disco.
Principalmente, neste caso, eu questionaria quanta memória o HOST tem, o que está sendo executado atualmente (além do VBox) e possivelmente a versão -OSE, já que pode não ser otimizado para velocidade.