Você pode fazer isso - é chamado de delegar um subdomínio.
Você basicamente só precisa de um registro NS para o subdomínio no arquivo de zona do seu domínio que aponta para o seu servidor dns interno.
Procure guias no seu provedor para delegar um subdomínio. A maioria tem guias sobre a maneira exata de configurá-lo em seus painéis de controle.