O número de razões pelas quais uma transferência de arquivos pode falhar é legião. Por que tratá-lo como uma caixa preta quando você não precisa? Acione o tcpdump, acione o erro e dê uma olhada no que realmente está acontecendo. Se isso não fizer sentido para você, poste um link onde o pessoal do ServerFault pode baixar o arquivo pcap.
Além disso, você verificou que esse é um problema geral com downloads de vários locais? Ou apenas o espelho apt?