Você deve ser capaz de excluir os arquivos de disco do VirtualBox (.VDI ou .VMDK) individualmente do seu produto antivírus (você não nos diz qual deles você tem). Isso impedirá que a varredura no acesso atrapalhe as gravações nesses arquivos. Não importa se é ou não impacto no desempenho.
No entanto, pode haver muitos outros motivos para a sua VM ficar lenta fora do AV, e você precisará fazer mais perfis antes de poder dizer com certeza o que é.