Não toque em e-mails recebidos . Deixe alguém fazer isso. Configure uma conta no Google para domínios (ou um dos bilhões de outros provedores) e deixe que eles se preocupem com segurança, spam, webmail, tempo de atividade, etc. O Gmail para domínios é bastante impressionante, mas significa que você precisa confiar no Google com bastante muitos dos seus dados.
Quanto ao envio de email, instale o postfix e o sendmail. Configure-o como um sistema local, por isso ele está apenas ouvindo no host local. Isso impedirá que as pessoas o utilizem como um retransmissor aberto e que seu IP seja marcado como spam.
Se você hospeda outros clientes que são spammers e eles não fazem nada sobre isso, todo o seu bloco de IP pode ser marcado como spam. Nesse caso, você também pode usar servidores SMTP externos (incluindo o GMail), mas geralmente configura isso por aplicativo.
Por exemplo, um webapp do Django meu se conecta ao gmail para SMTP e isso é configurado na configuração do Django. Isso é apenas para que eu possa garantir o envio de e-mails e obter uma cópia na caixa Enviadas para as contas do Gmail. Outro site usa o provedor de email de outro cliente (Message Labs) e tudo bem também. Tudo o mais nesse servidor usa o sendmail + postfix.
Só para ficar claro, não há nada de errado com o envio de e-mail pelo postfix. Ele geralmente chega lá e, a menos que você faça grandes negócios por meio de e-mails automatizados, provavelmente estará bem enviando e-mails diretamente de seu servidor.
Isso certamente não é um medo ignorante. Processos abertos de postfix e spamd ocupando muitos recursos do sistema são o melhor da minha existência. Quando adoto clientes e estou solucionando a falta de recursos de seus servidores, tento migrar o máximo possível para serviços de terceiros.