Acontece que, por padrão, o VirtualBox não permite que você tenha placas de rede promíscuas, você precisa habilitá-lo explicitamente.
Eu adicionei as seguintes linhas à definição bridge
e as coisas começaram a funcionar:
bridge.vm.provider :virtualbox do |vb|
vb.customize ["modifyvm", :id, "--nicpromisc2", "allow-all"]
vb.customize ["modifyvm", :id, "--nicpromisc3", "allow-all"]
end