A variação nos tempos de ping pode ser um indicativo de várias coisas, mas o fato de você ter o mesmo comportamento, independentemente de qual servidor do datacenter você indica, pode haver um problema com um link ou dispositivo no caminho .
Vale a pena fazer traceroutes repetidos para o (s) servidor (es) em questão, para ver se é possível identificar um determinado dispositivo de rede onde a latência está variando; ou, alternativamente, pode haver vários caminhos para esse local, sendo que um deles geralmente apresenta latência mais alta.
Você está vendo alguma perda de pacote quando executa pings estendidos? Se sim, isso pode ser indicativo de um link congestionado.
Você poderia fornecer mais detalhes sobre a conectividade entre seu escritório e seus data centers? Você está usando linhas alugadas? VPN da Internet? Você falou com os administradores de rede / NOC da sua empresa? Eles podem estar cientes deste problema já.