Sim e não, respectivamente.
Para o seu computador, o Virtualbox executando uma Máquina Virtual usará recursos semelhantes a um aplicativo grande e, dependendo da quantidade de memória e unidades de CPU atribuídas à máquina virtual e de quantos desses recursos o computador precisa iniciar, esses recursos não estarão mais disponíveis para o host.
Quando a VM é desligada, ela não usa mais nenhum recurso do sistema além do espaço em disco e, portanto, não desacelera o computador, a menos que você tenha muito pouco espaço para isso.