Quantas conexões simultâneas estão abertas nesta única máquina? Você aumentou o limite do descritor de arquivo em limits.conf para o usuário que está executando o memcached?
É possível que você esteja atingindo um limite de descritor de arquivo, o que fará com que novas conexões TCP sejam descartadas. E, dependendo do seu cliente memcache, isso pode resultar em um tempo de resposta mais lento.