Como você está certo sobre a causa desse atraso? É o tempo que seu cliente gasta enviando os dados na solicitação HTTP? É o tempo que o PHP gasta no processamento? Ou é o download da resposta do servidor?
Desculpe por fazer perguntas em vez de responder. Mas acho que o primeiro passo aqui é detectar onde está o atraso. Eu recomendo que você use o Firebug o Chrome developer tools. Abra a guia Rede e faça uma solicitação. Em seguida, selecione a primeira linha na tabela de resultados (aquela que representa a solicitação, porque você verá outras linhas para arquivos CSS, arquivos JS, imagens etc.). E verifique os dados de tempo que geralmente são divididos em estágios de envio / espera / recebimento. O estágio de espera está relacionado à velocidade de processamento do servidor, os outros dois estão relacionados à largura de banda do servidor e do cliente.
Mais depuração deve ser feita depois disso, dependendo de onde o atraso parece ser.