O atual agendador de tarefas do Linux é chamado Completely Fair Scheduler (CFS). Você deve dar uma olhada no link para obter mais detalhes. O design é bastante complexo e, a meu ver, não é adequado para RTOS.
Uma técnica comum em sistemas em tempo real é a programação monotônica de taxa, porque ela tem strongs garantias se certas suposições forem válidas (por exemplo, prioridades de tarefa estática e tempo e taxa de execução fixos). Existem muitos outros algoritmos e tem havido muita pesquisa. Então, basicamente, é tudo sobre as propriedades que você precisa e o que você sabe sobre sua tarefa e o que é corrigido.