A latência aumentará não importa o que, porque pela própria natureza do download ou do upload, você está tentando usar o máximo possível da largura de banda disponível. Portanto, seus tempos de solicitação / resposta serão mais lentos à medida que os pacotes de dados começarem a sufocar o pipeline e potencialmente protelar quaisquer solicitações de pacote de latência que você esteja enviando.
Pode ser que você tenha uma linha ruim, mas se a velocidade de download / upload não for totalmente afetada, o melhor que você pode esperar é mudar seu perfil ADSL se você tiver uma para uma configuração de baixa latência através do seu ISP.
Caso contrário, você pode estar caçando gremlins ao longo de sua linha telefônica, o que é sempre divertido:)