É provável que isso ocorra em pequenos enxames - teste em uma grande torrente com muitos colegas para obter um ponto de comparação.
Geralmente, ele é proveniente de problemas de conectividade em que pelo menos uma parte (você ou o controle remoto) está atrás de um NAT ou firewall, o que significa que não é possível estabelecer uma conexão em uma direção e você precisará aguardar até o outro lado que há alguém no enxame e tenta se conectar a partir do fim.