Existe um bug do Virtualbox conhecido para este comportamento que é quase 2 anos desde que foi reportado.
Se você quiser consertá-lo, eu acho que você precisaria enviar um pedido de solicitação com uma correção para a equipe do Virtualbox ... ou, infelizmente, esperar mais: /