Você deve começar por o download , configuração , construindo e instalando o kernel do Linux a partir do zero. Isso em si não é uma tarefa pequena, em particular a parte de configuração, e vai te ensinar muito sobre o kernel e sua estrutura.
Quando você estiver pronto para começar a inserir o código, um bom lugar para começar a ler está em net/ipv4
na árvore de origem do kernel. A implementação do TCP do Linux reside aí.