Se saturar seu link de banda larga faz com que a latência aumente, seu equipamento de rede provavelmente tem um bug bem conhecido chamado bufferbloat.
Há um truque para resolver o bufferbloat mesmo se você não puder substituir o roteador que tem o bug. Pode colocar um segundo router anti-bufferbloat (por exemplo, com capacidade para FQ-CoDel) atrás do primeiro router e certificar-se de que todo o tráfego da sua rede passa pelo segundo router. Ajuste também o shaper de tráfego no segundo roteador para torná-lo um gargalo sempre tão leve na direção upstream e downstream. Isso permite que suas proteções anti-bufferbloat (Explicit Congestion Notification e Intelligent Packet Dropping) sejam ativadas antes que as filas de buffer inchadas possam se acumular nos dispositivos com bugs.
Uma parte complicada é que, durante o horário nobre da noite, sua largura de banda de banda larga pode ser menor do que em outras horas do dia, então você precisa ajustar a configuração do tráfego para garantir que o roteador seja o gargalo. Há um produto comercial que afirma fazer isso automaticamente, chamado IQrouter de evenroute.com. Eu não usei este produto, então não posso garantir isso.