Sim, é possível. Um ISP oferece conectividade à Internet, no entanto, isso não é necessário para uma rede privada. Se o seu roteador tiver DHCP (a maioria faz isso), isso aliviará muita configuração manual. Como outros disseram, deveria funcionar. Se isso não acontecer, é mais provável que seja um problema de DNS. Use IPs apenas para garantir que tudo funcione e, em seguida, elimine as dobras conforme necessário.