Em primeiro lugar, posso parabenizá-lo pelo que considero uma pergunta bem escrita, clara e bem pesquisada, e por não redigir o nome de domínio; esse último é extremamente útil para responder.
Deixe-me abordar o problema principal, se eu puder: o whois
aponta para um conjunto de servidores de nomes diferente daquele que você configurou para ser autoritário:
[me@risby ~]$ whois earechnung.at
[Querying whois.nic.at]
[...]
domain: earechnung.at
registrant: MAT8777331-NICAT
admin-c: AT8777330-NICAT
tech-c: MH536567-NICAT
nserver: ns1.your-server.de
nserver: ns3.second-ns.de
nserver: ns.second-ns.com
changed: 20121004 15:29:23
source: AT-DOM
Observe os três servidores listados. Eu concordo que você tem esses servidores configurados para servir registros NS que apontam a consulta para outro lugar - mas você também os configura com dados para responder à solicitação autoritativa, e o servidor deles acredita ser autoritativo para a zona e, portanto, pode legitimamente retornar respostas negativas autoritativas para RRs que ele não conhece. A coisa certa a fazer neste caso é voltar para o registrador, que acho que é o Hetzner nesse caso, e alterar os registros do servidor de nomes não em seu servidor DNS, mas em seu servidor de registro - o dispositivo que preenche o whois
para .at.
- para retornar seus dois novos servidores ns5.kasserver.com.
e ns6.kasserver.com.
O negócio de servir um conjunto de registros NS para delegar uma subzona funciona perfeitamente quando é usado para fazer isso: delegar uma subzona da que foi seguida para o conjunto atual de servidores de nomes. Usá-los mais como um redirecionamento HTTP 301
é incomum e - como você descobriu - pode não funcionar perfeitamente.
Quanto à prática recomendada, é completamente normal usar um provedor para registro e outro para provisão de DNS. Dito isso, as duas tarefas costumam ser tão bem soldadas que alguns registradores não conseguem lidar com uma zona registrada em servidores DNS, exceto os deles. Se Hetzner for um desses, você precisará transferir o registro de domínio para outro registrador.