De uma perspectiva de segurança, criar sua própria pilha de SMTP é uma péssima ideia.
Você disse que o POP3 não funcionará porque você deseja uma notificação instantânea; Eu sugiro olhar para o IMAP (especificamente, o comando IDLE). Toda a notificação instantânea sem o soquete TCP personalizado exposto à Internet!