Uma possível explicação é o armazenamento em cache. Os registros DNS são armazenados em cache nos servidores DNS (bem como armazenados em cache nos clientes). O DNS do Google é um servidor DNS público usado por muitos usuários em todo o mundo. Portanto, há boas chances de o nome solicitado ter sido resolvido recentemente pelo DNS do Google. Isso significa melhor tempo de resposta quando comparado ao seu servidor DNS local.
Outra razão é a otimização e o ajuste feitos pelo Google. Esse servidor DNS público deve ser otimizado para lidar com o tráfego recebido.
A propósito, você pode verificar o efeito de armazenamento em cache repetindo a consulta DNS para seu servidor. Você obterá um tempo de resposta muito melhor a partir da segunda vez (o resultado foi armazenado em cache).