Geralmente isso é causado quando vboxguest não pode ser compilado nessa máquina, devido a componentes ausentes (cabeçalhos do kernel, compilador etc.). Deve haver outro arquivo de log ao lado de VBoxGuestAdditions.log, que modifica o progresso da compilação. Você encontrará a causa raiz lá.
Além disso, você pode verificar modinfo vboxguest e modprobe vboxguest , mas tenho certeza de que não está disponível no sistema porque algo como cabeçalhos do kernel está faltando.