O problema é que o usuário escolhe qual servidor DNS usar ou alguém o escolhe para ele. Qualquer servidor DNS é autoritativo para suas zonas e o restante é obtido de servidores públicos.
O que o ISP faz é registrar o servidor de nomes autoritativo com o registro do seu nome de domínio, portanto, se por algum motivo você quiser executar o seu próprio DNS, precisará contatá-lo para alterá-lo.
Você pode fazer whois lookup e ver informações de registro, você encontrará servidores de nomes lá.
Isso não significa que alguém não possa configurar outro servidor DNS para apontar seu domínio para outro endereço IP, mas muitos usuários não o usarão. Por exemplo, o servidor DNS na minha organização é autoritativo para o facebook.com, mas 50 pessoas usam isso porque eu o aplico. Outro exemplo pode ser alguém tentando hackear outra pessoa, mas se você não é um banco ou uma rede social ou algum blog ou revista enorme - não se preocupe muito com isso.
Bom exemplo de endereço IP, a propósito ...