Bem, enquanto eu normalmente detesto recomendar um E3 em um chip melhor, o E5 não tem hyperthreading, enquanto o E3 o possui. Assim, o E3 pode manipular 8 threads em um, enquanto o E5 só pode lidar com 4.
Então, neste cenário, o chip 'menor' tem mais capacidade de rosca e velocidade de clock ~ 50% mais rápida, então a menos que seu sistema esteja strongmente ligado à memória (o E5 tem uma capacidade de processamento de memória muito mais rápida), sugiro o E3 sobre o E5.
Lembre-se de que normalmente não fazemos recomendações de produtos, como mostra claramente as perguntas frequentes, mas, nesse caso, foi uma resposta fácil. Considere isso no futuro, ainda que seja a favor.