Primeiro de tudo - repensar, trará mais problemas para você.
Você não pode usar DNS no firewall, resp. você não pode usar o DNS para verificar "Este IP pertence ao domínio?" por muitos motivos, o maior é o DNS recursivo não consistente. Você pode ter apenas um registro PTR para IP e esses registros são gerenciados com o proprietário do IP. Não são muitos os domínios que realmente são donos de seus IPs - eles apenas usam algum provedor de serviços como hospedagem compartilhada, provedor de nuvem e assim por diante - então se você tentar resolver IP para domínio, você obterá o provedor, não o domínio.
No exemplo, serverfault.com tem o IP 104.16.46.232. Mas quando você tentar detectar se esse IP pertence a serverfault.com, você falhará, porque esse IP pertence a CloudFlare.net e não há conexão entre CloudFlare.net e serverfault.com.
Se o seu domínio "não desejado" tiver sua própria sub-rede IP, você poderá usar a ferramenta whois
para detectar a sub-rede atribuída e bloquear essa sub-rede. No caso do upper, você pode bloquear todo o CloudFlare, mas você vai bloquear todos que estiverem usando o CloudFlare, o que não é o que você quer.
A próxima maneira é invadir o DNS e roubar arquivos de zona para esse domínio (use o AXFR e tente inicializar a transferência de zona - veja esta questão no SuperUser ). Alguns servidores DNS enviarão o arquivo de zona inteira para qualquer um que perguntar, mas a maioria deles o enviará apenas para os servidores permitidos. Se você conseguir esse arquivo, poderá analisá-lo e detectar os IPs usados. Mas novamente - se isso é algum CDN ou hospedagem compartilhada, você irá bloquear qualquer coisa nesse servidor.