Eu tive esse mesmo problema e durou meses! Parece ter sido algum tipo de bug no VirtualBox ou no Vagrant. Eu estava no Vagrant versão 1.9.1 e Virtualbox 5.1.19 (eu acho). Atualizar para o mais recente de cada um deles deve resolver seu problema.
A partir desta redação, o Vagrant é a versão 1.9.7 e o Virtualbox é o 5.1.22.