Vai dar trabalho. Se você não se opõe a isso, então você está completamente bem. O Gmail funciona tão bem porque eles têm uma equipe dedicada a isso.
Certifique-se de configurar o (s) registro (s) SPF corretamente. Em seguida, descubra uma maneira de configurar um substituto: se o seu servidor ficar na lista negra de repente, como o e-mail fluirá de novo?
Eu recomendo que você faça isso, mas comece com emails que não sejam de missão crítica, por exemplo uma conta de e-mail que você usa para boletins informativos. Vai ser divertido e uma ótima experiência de aprendizado. Se você gosta e parece funcionar bem, adicione o resto. Basta verificar diariamente no início e configurar algum tipo de monitoramento.