Então, eu FINALMENTE localizei o problema. O problema era que o e-mail de "remetente" que eu estava usando não era uma conta real, mas uma conta de "grupo" com um membro que era outro grupo e esse grupo tinha usuários reais como membros. Suspeito que o Google não enviará retornos para "agrupar" endereços de e-mail. A correção era tornar o remetente uma conta de usuário / email real.
Além disso, eu também pude usar a notação + do Google para deixar mais claro de onde o retorno estava vindo. No meu caso, definimos o remetente como "[email protected]", mas, dependendo do TYPE do e-mail enviado, adicionamos uma notação como "[email protected]" para sabermos que tipo de retorno foi e poderíamos agir adequadamente.