Funciona!
Desativei a sincronização de horário com os seguintes comandos:
VBoxManage setextradata "VM Name" VBoxInternal/Devices/VMMDev/0/Config/GetHostTimeDisabled 1
VBoxManage setextradata "VM Name" VBoxInternal/TM/TSCTiedToExecution 1
VBoxManage setextradata "VM Name" VBoxInternal/TM/WarpDrivePercentage 400 # means 4x times faster
Note que no Virtual Box 4.3.x você precisa inserir parâmetros sem aspas (ver comentários aqui) .
Além disso, você precisa desligar totalmente e iniciar a máquina virtual ... A reinicialização simples, por algum motivo, não funcionou.