Buffer parece uma teoria razoável. Eu tomaria uma captura de pacotes dos seus servidores de aplicativos para ter certeza de que você não vê nada como retransmissões ou outro comportamento possivelmente anormal no fluxo de tcp (ou seja, a janela tcp zerar?). Wireshark com um filtro de captura para o IP do cliente funcionaria para isso.
Se você verificar que a captura de pacote parece limpa, pedir ao seu provedor para executar uma captura de pacote no balanceador de carga para que você possa analisar é uma solicitação razoável.
Por fim, você testou de vários locais e máquinas diferentes? Talvez o armazenamento em buffer esteja em algum lugar entre o cliente e o provedor, ou algo estranho esteja acontecendo com o cliente (a execução de uma captura de pacote no cliente, bem como seus servidores ao mesmo tempo, pode ser esclarecedora também).