Quanta memória RAM tem seu host e quanta RAM é alocada para seu convidado no VirtualBox? Por exemplo, se o seu sistema tiver 4 GB de RAM, você precisará sempre de no mínimo 2 GB de RAM para que seu host execute a máquina virtual corretamente.
O Windows 10 é conhecido por não ser eficiente com a RAM. Um monte de tarefas em segundo plano (muito mais do que o Windows 7) exigem uma parte pesada de sua memória RAM. Espalhando sua RAM uniformemente sobre seu host e seu convidado desconsidera o fato de que o Windows 10 precisa de muito mais RAM. Se você não tiver RAM suficiente para o seu host, o aplicativo VirtualBox será executado mais lentamente (o que não tem nada a ver com seu convidado). Tente dar ao seu convidado um pouco menos de RAM (1GB se você tiver 4GB no total, 1GB ou 2GB se você tiver 8GB no total, ...). Você pode fazer isso em Configurações- > Sistema e mover o controle deslizante na memória base.
TL; DR: Diminua a RAM alocada para seu convidado no VirtualBox.