A memória cache é uma memória pequena e rápida que sua CPU usa para armazenar dados acessados com frequência. O benefício é que, se a CPU encontrar o que está procurando no cache, não precisará ler a memória principal (RAM), que é mais lenta. No geral, isso aumenta o desempenho porque o tempo gasto para buscar dados é reduzido.
Caches L1 e L2: a diferença é que L2 é maior e mais lento que L1. A CPU procura primeiro o que precisa no cache L1. Se não encontrar os dados solicitados, vai para L2. Se os dados solicitados não estiverem em L2, eles irão para a memória principal.
Uma boa analogia é ter seus livros freqüentemente lidos no criado-mudo (L1) ao invés da prateleira (L2). Quando você quer ler um livro, você vai para a sua mesa de cabeceira, que pode conter apenas 5 livros. Se estiver lá, está tudo pronto. Às vezes, o livro que você quer ler não está na sua mesa de cabeceira - este é um 'cache miss', e você terá que ir até a sua estante, que contém 10 livros. Se não estiver na sua estante, você vai à biblioteca pública (memória principal), que contém centenas de livros.