Você só precisa se certificar de que cada Pi esteja na mesma sub-rede, ex:
192.168.1.1 = > roteador 192.168.1.2 = > Pi 1 192.168.1.3 = > Pi 2 192.168.1.4 = > Pi 3
configure o gateway padrão para os Pi's como 192.168.1.1. Você deveria estar bem. Desta forma, quando na mesma sub-rede, os Pi's se vêem e usam o gateway padrão quando precisam alcançar alguma outra sub-rede.
Certifique-se de que, se o roteador também for um computador para configurar o encaminhamento de IP: link
(este bit é mais para "falha do servidor", mas a primeira parte não é)
Quando isso é feito como deveria, você deve ser capaz de efetuar o ping 8.8.8.8 (DNS do google). Se isso funcionar e o ping 'www.google.com' não funcionar, você precisará configurar o servidor DNS. (no linux: resolv.conf) Você pode usar o DNS do google como seu endereço de servidor dns (8.8.8.8)
para resumir:
- configurar sub-redes
- configurar gateways padrão
- configura a máquina de roteamento como um roteador
- configurar o DNS nos clientes (e no roteador)