Você precisa ativar o TLS no cliente SMTP do Postfix, já que o Google exige isso. Isso é indicado por eles na mensagem "Deve emitir um comando STARTTLS".
Em /etc/postfix/main.cf , você quer algo assim:
smtp_tls_policy_maps = hash:/etc/postfix/tls_policy
e, em seguida, em /etc/postfix/tls_policy :
[smtp.gmail.com]:587 encrypt
O lado esquerdo em tls_policy deve aparecer exatamente da mesma forma que a entrada relayhost em main.cf .
Lembre-se de executar postmap em /etc/postfix/tls_policy após criá-lo ou alterá-lo conforme necessário.
Você pode encontrar mais detalhes na documentação do TLS do Postfix .