Os registros MX do seu domínio precisam apontar para o Google ou seu servidor. Não ambos.
Minha recomendação seria manter seus registros MX apontando para o Google e, em seguida, configurar o roteamento de e-mails de entrega dividida , para separar alguns destinatários do seu servidor autogerenciado. Veja o que o Google tem a dizer sobre a entrega dividida (retirada da página vinculada acima):
With split delivery, an incoming message is delivered to either a Gmail inbox or a legacy system inbox, depending on the recipient.
This method works well if some of your users use Gmail, and others use a different mail system. For example, you might need to implement special handling for certain types of email, such as messages to the Legal department.