O patch para 3.2.x está presumivelmente entre 3.2.0 e 3.2.x, não entre 3.2. (x - 1) e 3.2.x.
Se você fizer isso com frequência, talvez seja mais fácil seguir apenas o repositório git relevante.
Em qualquer caso, você precisará recompilar (muito) o kernel de qualquer maneira.