Claro. Seu roteador doméstico será NAT, então todos os IPs atrás dele serão apresentados à Internet como provenientes de seu IP público alocado pelo ISP.
Verifique o intervalo (normalmente 192.168.x.y) que seu roteador usa e crie IPs estáticos para os hosts nesse intervalo. (Não tenho certeza se você está usando DHCP - espero que esteja - nesse caso, você desejará adicionar esses IPs estáticos como exclusões ao intervalo de DHCP, para que ele não tente alocar os mesmos IPs para outra coisa.)