Resposta curta: Sim
Long Answer: O que você está procurando são endereços privados, devido a essa seção da sua pergunta "conecte-os com o SSH e instale os servidores da web neles, mas não tenho endereços IP disponíveis"
link é uma boa explicação.
Se você deseja que seus computadores conversem entre si, eles precisam estar em uma rede juntos.
O que você pode estar se referindo quando você não tem endereços IP são endereços acessíveis globalmente usados para sites públicos, etc.