Para responder à sua pergunta literal:
O seu ISP pode sempre rastrear o seu IP. Eles são os únicos que deram esse IP para você. (Nem o TOR nem uma VPN ajudarão nisso).
No entanto, se você estiver preocupado com o rastreamento das páginas visitadas, poderá fazer login no portal do provedor e iniciar a VPN ou o TOR posteriormente. Eles ainda saberão seu IP, mas não os IPs dos hosts que você visita.
(Em termos não relacionados a computador, você perguntou algo como: Minha operadora me deu um celular e um número de telefone. Como posso evitar que eles saibam qual é o meu número de telefone).