Informações insuficientes não fornecem uma resposta com qualquer probabilidade de serem corretas e, na verdade, a execução de alguns testes / comparações de mercado seria a única maneira de ter certeza de que você está obtendo a resposta certa.
Meu melhor palpite a partir do que você descreveu é que o pool aumentaria a latência de uma solicitação individual, mas aumentaria a carga agregada que você poderia manipular antes que as coisas se esbarrassem.
Mas quando afirmo que suspeito que possa aumentar a latência de um pedido individual, refiro-me a uma quantia entre uma fracção de milissegundos e talvez algumas dezenas de milissegundos, dependendo da configuração da sua rede. Se o seu site estiver ocupado o suficiente, isso será superado em muito pelas vantagens de velocidade de fazer menos chamadas de banco de dados com o dobro de cache. Se o servidor de mídia e o servidor de aplicativos forem aproximadamente iguais, é muito provável que o servidor de aplicativos receba uma alta quantidade de CPU e a CPU do servidor de mídia fique razoavelmente ociosa, o que significa que você realmente obterá o melhor desempenho usando memcached o servidor de mídia e não o servidor de aplicativos.
A única maneira de ter certeza sobre uma otimização é testar. Teste, benchmark, perfil, etc. Sem testes você nunca saberá se está melhorando ou piorando o desempenho. Execute testes de ponta a ponta (em outras palavras, clientes web simulados fazendo todos os pedidos de arquivos de um cliente Web real) com uma mistura realista de usuários (para obter a mistura certa de acertos e erros de cache), ambos para moderados cargas e cargas "acabamos de receber slashdotted". Automatize seu teste para que seja facilmente repetível. Teste com memcached em ambos / todos os servidores, somente em um servidor, somente no outro servidor, com mais RAM em um servidor que o outro, etc ...