Embora eu entenda que você quer um sistema UNIX, acho que vale a pena dar uma olhada em alguns sistemas operacionais mais modernos.
O
Plan9 da Bell Labs é das mesmas pessoas que criaram o UNIX e levam a mesma filosofia ao extremo (tudo é um arquivo, simplicidade, compondo pequenas ferramentas). O Plan9 é um kernel tradicional monolítico (mas pequeno).
O QNX é um microkernel comercial (veja também openqnx) que compartilha algumas semelhanças (pelo menos superficialmente) ao UNIX, mas é um design mais radical.
Por fim, MINIX é outro exemplo de microkernel inspirado no UNIX e é acompanhado por um bom livro descrevendo seu design e internos .
É altamente recomendável ler sobre os sistemas acima antes de iniciar seu próprio projeto.