Sim, é necessário transformar a fonte em vários arquivos de objetos e vinculá-los posteriormente. E provavelmente também há muitos outros arquivos relacionados a isso.
Sim, é normal que a compilação do Kernel do Linux demore um pouco. Depende do seu computador e de como você configurou /etc/make.conf em termos de otimização e compilação paralela ...