Sim, o seu IP ficará visível. Além disso, o comportamento padrão do BitTorrent é que o seu computador se torna uma semente para o download de outras pessoas.
A única maneira de ocultar seu IP seria usar uma VPN ou um servidor proxy anônimo. Embora, mesmo com essas medidas, não pense que você será completamente indetectável.
No entanto, não direi mais nada desde atividades pirateadas ou off-topic aqui, e parece que você quer ocultar seu IP porque você fará o download de coisas ilegalmente. (Por que outro motivo você estaria sendo torrente? A menos que seja por um suposto aumento de velocidade, mas duvido disso.)