Não tenho certeza se essa foi a causa direta desse problema, mas acabei de atualizar para o VB 5.1.2 e isso parecia estar causando alguns problemas. Eles têm um download separado para Guest Additions para convidados Linux que pode ter resolvido esse problema. Em vez disso, baixei uma versão um pouco mais antiga e isso funcionou para mim.