O RFC real que define o RR NS ( RFC1035 ) apenas diz que é um nome de domínio sem especificar o tipo de RR do alvo (embora deixe claro que não pode ser um IP). Ele recebe menção específica no RFC1912 , seção 2.4:
Having NS records pointing to a CNAME is bad and may conflict badly with current BIND servers. In fact, current BIND implementations will ignore such records, possibly leading to a lame delegation. There is a certain amount of security checking done in BIND to prevent spoofing DNS NS records. Also, older BIND servers reportedly will get caught in an infinite query loop trying to figure out the address for the aliased nameserver, causing a continuous stream of DNS requests to be sent.
Não é bem PRECISO, mas certamente se encaixa no comportamento que você está vendo