Use submódulos git
Com submódulos, você pode plantar repositórios em outros repositórios sem rastrear detalhes específicos das alterações do sub-repositório.
Esse recurso foi criado especificamente para lidar com projetos que dependem de dependências controladas em outro lugar.
Eu daria alguns casos de uso mais detalhados, mas ainda não tive motivos para usar esse recurso em particular.