O Vagrant ignora seu arquivo de inventário, cria o seu próprio ( fonte ).
Você precisa especificar grupos no Vagrantfile :
ansible.groups = {
"group1" => ["machine1"],
"group2" => ["machine2", "machine3"],
"all_groups:children" => ["group1", "group2", "group3"]
}