Eu posso recomendar Construindo sites escaláveis , que foi escrito por um dos caras do Flickr. A Arte do Planejamento da Capacidade , também de corporações do Flickr, também é útil como leitura adicional. Ambos lidam com o lado do servidor.
Sites de alto desempenho e Sites ainda mais rápidos são extraídos das práticas recomendadas do Yahoo para saber como fazer com que o seu site funcione mais rápido do ponto de vista do usuário. Eles lidam mais com a maneira de colocar a página na frente do usuário mais rápido, em vez de como agilizar a página com mais rapidez. Coisas como colocar o javascript na parte inferior da página para que o navegador não bloqueie. Eles também falam sobre fazer menos solicitações aos servidores, por meio de coisas como cache amigável e usar uma única imagem para todos os seus ícones e usar o css para exibir apenas uma pequena parte daquela imagem grande no lugar certo.
Há um pouco de sobreposição entre eles, mas eu li os três primeiros e os recomendo altamente.
Quanto ao PHP, parece que a única maneira de torná-lo rápido é armazenar em cache antecipadamente e armazenar em cache frequentemente. Em particular, observe o memcache e o APC. Outra coisa a considerar é que, em algum momento, o manipulador de sessão padrão bloqueia o arquivo de sessão no disco até que a solicitação seja concluída, o que significa que todas as solicitações que usam uma sessão bloqueariam. Implemente seu próprio manipulador de sessão, mas não use um banco de dados para isso.
Você pode encontrar esta entrevista interessante .