Não, você estava certo em remover o registro antigo e substituí-lo pelo CNAME por ghs.googlehosted.com. Se uma entrada específica (por exemplo, mail.example.com) tiver um registro CNAME, ela não deverá ter registros A ou AAAA, pois eles serão desconsiderados.
O Google não fornece endereços IP individuais para cada cliente usar. A definição do CNAME para ghs.googlehosted.com faz com que as solicitações acessem um servidor especializado no endereço que pesquisa seu domínio e redireciona os usuários da web para o Gmail em seu domínio.