eu encontrei a versão do kernel em minhas 3 máquinas Ubuntu eram diferentes. 2 de 3 tinham a versão 4.8.0-36 e a terceira tinha 4.10.0. Parece que, batman-adv versão 2016.5 e versão do kernel 4.10.0 não são compatíveis entre si. Também não consegui instalar a versão 2016.3 na versão do kernel 4.10.0.
A solução que escolhi foi o downgrade da versão do kernel para 4.8.0-36 e garantir que todos os PCs tivessem a mesma versão do kernel. Batman-adv instalado e versão batctl de 2016.3 do seguinte link: link
uma vez que o kernel e a versão batman de todos os 3 PCs são os mesmos, eles são capazes de descobrir e criar uma malha entre eles.