O Google Domains é um registrador que também oferece um serviço DNS; O Google Cloud DNS é um serviço DNS puro baseado em nuvem, que não lida com registro de domínio, mas oferece maior controle e mais recursos no próprio serviço.
Quando você registra um domínio, há duas etapas envolvidas: o registro real e o tratamento do serviço DNS para o domínio. A maioria dos provedores oferece ambos os serviços, e é isso que o Google Domains também faz.
No entanto, você também pode gerenciar o serviço DNS do seu domínio de várias maneiras diferentes (incluindo a execução de seus próprios servidores DNS). O Google Cloud DNS fornece um serviço DNS com base em nuvem com todos os recursos, que você pode usar para gerenciar o DNS de seu domínio, independentemente de onde e como você realmente o registrou.
Quanto à escolha de uma solução sobre outra ... isso depende muito de suas necessidades. Se a sua exigência é executar um site (por maior que seja), tudo o que você precisa é colocar alguns registros A ou CNAME no seu domínio, e ambas as soluções são perfeitamente adequadas.