Após mais testes, acredito que o roteador tem uma falha de hardware na parte de 5 ghz. Depois de executar um teste de ping mais longo (veja as estatísticas abaixo) na rede de 2.5ghz, a perda foi de 0% e o ping não ultrapassou 350 ms.
Eu baixei um arquivo de 3,84 GB via torrent, e vi uma curva de download semelhante à do wire.
--- 192.168.1.1 estatísticas de ping ---
452 pacotes transmitidos, 452 recebidos, 0% perda de pacotes, tempo 451630ms
rtt min / avg / max / mdev = 1,071 / 11,026 / 347,302 / 32,123 ms