Você não precisa configurar o memcache, seu gerenciamento de memória virtual do kernel deve ser capaz de usar o seu RAM para acelerar automaticamente seu servidor.
Carregue somente os módulos necessários e certifique-se de carregar o mod_expire e definir datas de expiração para os arquivos de imagem, caso eles não sejam alterados. Esta página detalha a configuração do mod_expire: link
Além disso, você precisa aumentar seus descritores de arquivos abertos no seu arquivo de configuração, caso contrário você receberá erros no seu arquivo de log e seu servidor irá travar. Esta página explica a configuração dos descritores de arquivos e contém informações úteis para ajustar o desempenho do seu tcp de kernel também: link