No seu primeiro exemplo, que você diz que está ok, há uma resposta atrasada, mesmo que o TTL seja o mesmo que os outros pings, então parece que você tem um atraso aleatório em algum lugar.
64 bytes de 172.X.X.36: icmp_seq = 3 ttl = 253 tempo = 477 ms
No entanto, a variável TTL parece sugerir que você tem um problema de roteamento em algum lugar
Eu fiz um traceroute (ou tracert no Windows) para tentar ver onde seus pings estão indo