Como você está impondo tamanhos de mensagens? A maior restrição no ambiente deve ser definida nos Conectores de Recebimento - mas vejo muitos com o limite removido. Isso garantiria que o email fosse rejeitado no ponto de entrega e um NDR retornado.
Eu também vi esse comportamento quando há vários servidores e os conectores de recebimento não são consistentes em todos eles e o email é revertido. Outra causa foi um Conector de Envio apontando para outro servidor do Exchange na mesma org - novamente causando um loop de email.
Basicamente, o comportamento que você viu não é esperado e a pergunta é por que ele não foi rejeitado.
A pergunta que você fez sobre ser notificado se um e-mail for rejeitado devido ao tamanho - isso não pode ser feito. Em um ambiente que funcione corretamente, a rejeição acontecerá no ponto de entrega, portanto, o Exchange não poderá notificá-lo. Notificar o email teria que ser aceito e depois colocado em quarentena, uma funcionalidade que o Exchange não possui.