Você basicamente fez duas perguntas. (Talvez você não tenha perguntado sobre máscaras de sub-rede, mas vou explicar de qualquer maneira para outros leitores)
1) O que é uma máscara de sub-rede e como funciona? Um endereço IP consiste em um endereço NETWORK e uma parte do endereço HOST. A máscara de sub-rede informa a um dispositivo qual parte do endereço IP é o endereço de REDE e qual parte é o endereço HOST. Toda vez que um dispositivo deseja se comunicar com outro endereço IP, ele primeiro precisa executar uma operação matemática que combine a máscara de sub-rede com o endereço IP para determinar se o endereço IP remoto está diretamente conectado à mesma rede que ele. Se estiver, pode enviar o pacote de informações diretamente para o dispositivo. Se não for, e o IP remoto estiver em outra rede, o dispositivo enviará o pacote para a rota padrão ou estática configurada que pode manipular a obtenção dos dados para o terminal remoto. link
Se o seu endereço IP for 192.168.1.23 e a sub-rede for 255.255.255.0, o endereço de rede será 192.168.1.0 e seu endereço de host será 0.0.0.23. Qualquer outro host no intervalo 192.168.1.1-192.168.1.255 está na mesma rede que você. Qualquer outro endereço IP não está na mesma rede que você. Para se comunicar com 192.168.100.10, seu computador teria que enviar as informações para o gateway padrão (roteador) em sua rede em 192.168.1.1 e o roteador em 192.168.1.1 determinará o que fazer em seguida com ele.
2) Por que vejo dispositivos fora da minha rede quando faço a varredura?
Esta é uma boa pergunta. Primeiro, se você estiver digitalizando a rede maior / 16 - não há nada tecnicamente errado com isso. Porém, lembre-se de que você está examinando algum dispositivo conhecido por estar na mesma rede que você e outros dispositivos que estão em uma rede diferente além do roteador.
Como os endereços IP com os quais você está trabalhando são considerados "privados", eles são endereços não roteáveis. Roteadores baseados na Internet não encaminharão informações destinadas a esses endereços IP. Portanto, não é possível que esses endereços IP que você vê estejam vindo da Internet de qualquer maneira. O que você provavelmente está vendo é algum artefato no roteador e como ele está lidando com as sondas. Especialmente se você estiver fazendo algum tipo de varredura especial como uma varredura SYN.
Embora interessante, eu não acredito que seja algo para se preocupar.