O seu ISP tem um bloco de endereço IP (que é um subconjunto do maior bloco de endereços IP controlado pelo seu provedor).
O tráfego para esse bloco será roteado para o seu ISP pelo seu provedor de upstream. Seu ISP irá rotear o tráfego do seu endereço IP para você.
O provedor de upstream do seu ISP, provavelmente, tem um provedor upstream ainda maior, que lhe deu um bloco de endereço IP e está roteando o tráfego dele para ele.
Agora, se você usar um endereço IP que não faz parte dessa hierarquia, não há como o tráfego chegar até você.