Encontrei uma maneira de fazer isso, o que não era óbvio para mim, pois eu estava usando apenas a ferramenta do Centro de administração do Exchange.
Depois de criar o grupo na ferramenta mencionada acima, eu entrei em Usuários e Grupos do Active Directory e observei o grupo. A pessoa que eu tinha adicionado como o proprietário no Exchnage também (mas não como um membro) foi listado como um membro aqui. Eu os removi da lista de membros, mas mantive-os como o proprietário. Agora, os e-mails desse grupo não vão para o proprietário do grupo.