Is a public DNS like 8.8.8.8 is a DNS server or just resolver?
É apenas um resolvedor como os fornecidos pelos ISPs. Ele não altera nada sobre como seu domínio é gerenciado: os registros ainda são mantidos no arquivo de zona em seus servidores 'autoritativos' e você assina a zona com suas próprias chaves.
If my users use public DNS like 8.8.8.8, how can I configure my own DNS TXT records there.
Você não faz. Como 8.8.8.8 é um resolvedor, ele seguirá a cadeia de delegações (registros NS) e obterá os registros do seu próprio servidor autoritativo. (Exatamente da mesma forma que resolver outros domínios como "google.com" ...)
Portanto, se o domínio for público (comprado de um registrador) e seu servidor DNS estiver publicamente acessível, nada será alterado.
Claro, se o domínio não for delegado - por exemplo, se estiver sob algum TLD inventado, como mycompany.lan , os resolvedores públicos não conseguirão vê-lo . Portanto, não use domínios criados.
How public DNS works exactly to resolve example.com that uses DNSSEC to authenticate in its DNS server
Para recuperação regular de registros DNS, veja acima, e veja vários documentos existentes. Resumindo, o resolvedor segue a cadeia de registros NS da zona raiz até encontrar seu próprio servidor.
A validação do DNSSEC é muito semelhante: além dos registros do NS (apontando para o próximo servidor), cada delegação também possui registros do DS (com a chave pública da próxima zona). O resolvedor ou validador novamente segue a cadeia de registros do DS.