Sim, um switch de contexto implica uma mudança de modo, já que é o kernel que muda a execução de um processo para outro. Um switch de contexto envolve a restauração do estado do processo que irá retomar a execução, incluindo mapeamentos de memória, registros, etc., e tudo isso só pode ser feito no modo kernel.