Você está correto. A VM de um processo consiste no espaço de endereço do usuário e no espaço de endereço do kernel. O espaço de endereço do kernel é o mesmo em todos os processos, mas protegido do acesso. Se você ouviu a divisão de memória de 2/2 ou 3/1 (de x32), foi a quantidade de memória do usuário / kernel em GBs. Assim, para um espaço de endereçamento de 4GB, você poderia (por exemplo) ter 3G para processos e 1G para o kernel.
Eu recomendaria ler o livro "Noções básicas sobre o Kernel do Linux", que responderá a esta e muitas outras perguntas.