O SMTP de entrada e de saída de um provedor pode ser manipulado por diferentes servidores.
-
O SMTP de entrada (ou geralmente chamado de MX) lida com mensagens recebidas para os usuários do domínio. Esses servidores serão configurados para aceitar apenas mensagens destinadas ao próprio domínio (gmail.com, por exemplo).
-
O SMTP de saída processa e-mails para usuários do domínio que tentam enviar e-mails para o resto do mundo. Esses servidores serão configurados para permitir emails destinados a todos os lugares, mas somente se forem enviados por seus próprios clientes. Muitas vezes isso é imposto com firewalls baseados em endereço IP ou SMTP AUTH (nome de usuário e senha).
Se você enviar um e-mail de yahoo.com para google.com, o smtp.gmail.com não fará nada. No entanto, se você enviar um e-mail de google.com para yahoo.com, o servidor smtp.google.com aceitará o e-mail do MUA e o enviará ao servidor MX do yahoo.com.
Para sua última pergunta, a caixa de correio casada provavelmente será hospedada em algum servidor distante na nuvem do Google. Quando um front-end (um dos servidores que manipula imap.google.com) receber uma solicitação para veicular arquivos da caixa de correio casada, ele procurará uma referência à caixa de correio (em algum banco de dados) e recuperará as informações de um máquina remota.
Pensar em grandes configurações de e-mail (como yahoo.com e gmail.com) talvez não seja a melhor maneira de começar a entender os e-mails. Tente entender como seu ISP lidaria com isso.