Um instala o memcached no nó de cálculo ou no servidor da Web - assim, ele pode armazenar em cache as consultas antes que elas precisem atingir a conexão. Sua instância do apache será mais rápida se (por exemplo) o php puder acessar um cache rico antes de sair da rede. É melhor devotar a memória sobressalente na caixa db para a instância db de qualquer maneira, para que ela possa usar o máximo possível de mem e armazenar o que puder, e assim mantê-la na memória.
O Memcached usará a memória no servidor da Web, é claro, e você não desejará alocar demais para que seu nó de computação / web comece a comer em swap: você elimina todas as trocas de espaço quando faz isso.
Na minha experiência limitada, não é bem uma pílula mágica; e precisará de ajustes e assistir como qualquer outro cache ou com qualquer outro esforço de ajuste de desempenho. Ele fica muito melhor quando há mais de um host por db, mas ainda deve mostrar algumas melhorias interessantes com uma caixa da web e uma caixa de db. Eu não o instalei em um caso em que o banco de dados e a web estão na mesma caixa, devo dizer, e se você estiver pensando em fazer isso, talvez eu reconsidere.