O mais provável é que não - qualquer um pode enviar um email usando qualquer endereço de email do remetente, assim como eu poderia enviar um email e colocar seu nome e endereço no verso - e se a carta não puder ser entregue, será devolvido ao seu endereço em vez do meu. Isso é chamado de 'backscatter'.
Você pode se proteger contra isso usando o SPF / DKIM, mas muitos servidores na Internet não verificarão os registros SPF / DKIM de qualquer maneira, por isso não manterá você totalmente livre de backscatter.