É porque o seu ISP tem (muito) sobrecarregado a linha na sua área. À noite todo mundo está usando seu computador também, então a largura de banda disponível cai.
Esta é uma prática muito comum que os provedores de Internet gostam de manter em silêncio, então é claro que o suporte técnico não vai mencionar isso.