Existem dois significados diferentes de P2P e você parece estar ficando confuso.
P2P pode significar ponto a ponto - como é o caso de um cliente VPN como o OpenVPN ou o PPTP. Essas conexões ocorrem diretamente - e apenas entre dois dispositivos.
Também pode significar Peer to Peer, como no caso de bit torrent etc, onde existe uma rede de conexões. O restante deste post trata desses casos, pois eles parecem ser do seu interesse.
Não existe uma regra para como as redes P2P podem ser feitas - isso depende do protocolo. Dito isso, geralmente há vários servidores e vários clientes.
A função de servidores geralmente serve para ajudar os clientes a se encontrarem. Uma vez que os clientes se encontram, eles normalmente se comunicam diretamente - o tráfego entre os clientes NÃO passa pelo servidor (e, de fato, se isso acontecesse, não seria uma rede P2P).
No entanto, dependendo do tipo de tráfego, não é necessário haver um servidor ou lista de servidores - em circunstâncias limitadas, é possível que todos os clientes anunciem sua presença - embora isso não seja comum em toda a Internet, pois não escala bem.
Um servidor de IRC é um servidor de bate-papo simples e antigo - é possível que uma rede P2P use isso para coordenar a comunicação entre os clientes, mas isso é desnecessário e não é comum. (Servidores de IRC são freqüentemente usados para controlar botnets enquanto escondem os detalhes dos controladores). Um rastreador é um mecanismo mais comum para lidar com essa função.
Não sou especialista em Bitcoin, mas entendo que nenhum ponto central / rastreador é necessário - na verdade, uma das vantagens dele é totalmente descentralizada (ou seja, não requer um ponto central ou rastreador) - e que cada bitcoin tem uma cadeia (ou seja, pode ser rastreada até a sua criação original).
Um rastreador de Bitcoin não é realmente necessário para o Bitcoin, e é, a AFAIK, uma maneira de descobrir o valor do bitcoin baseado em negociações sendo feitas.