Eu acho que você está certo sobre o que está acontecendo, mas RFC 2308 é bem claro no s7.1 que o armazenamento em cache de um SERVFAIL é permitido:
In either case a resolver MAY cache a server failure response. If it
does so it MUST NOT cache it for longer than five (5) minutes
Se você estiver executando o servidor DNS, provavelmente poderá ajustar esse comportamento ou pará-lo completamente, portanto, se o servidor de nomes que estiver armazenando essas coisas e incomodando estiver fora de seu controle, execute seu próprio servidor DNS.