Não é problema algum. Apenas lembre-se de desabilitar a sincronização de tempo no VirtualBox Guest Additions, depois defina a data + hora na máquina virtual como desejar. Há também uma opção para entrar no BIOS virtual e definir a data + hora lá, se for necessário no momento da instalação.
Este comando desativa a sincronização: link
VBoxManage setextradata "VM name" "VBoxInternal/Devices/VMMDev/0/Config/GetHostTimeDisabled" 1
A seguinte opção permite definir um deslocamento em milissegundos: link
VBoxManage modifyvm "VM name" --biossystemtimeoffset <msec>