O mais próximo que você conseguirá ficar dentro dos padrões é criar um "corte de zona" nesse limite. Isso pode ser feito definindo uma zona adicional chamada mysubdomain.example.com (que é mais específica que a example.com zone) ou delegando mysubdomain para um nameserver diferente inteiramente com NS records.
Dito , uma solicitação para mysubdomain.example.com IN A resultará em uma resposta de NOERROR com zero registros na seção de resposta devido aos registros obrigatórios de SOA e NS que compartilham o nome. Todos os registros abaixo desse ponto retornarão o NXDOMAIN desejado.
Se você tem uma necessidade real, técnica para fazer com que aquele registro pareça ser um NXDOMAIN (e não apenas para preferências pessoais ou estéticas, que nada têm a ver com o RCODE que vem voltar), você pode configurar uma zona de política de resposta ( RPZ ) dentro do BIND que reescreve pedidos para esse marcador. É um exagero e um desperdício, a menos que seja um requisito comercial real.