O protocolo SMTP é usado para aceitar e retransmitir emails, mas não é usado para leitura de emails.
Então - quando você se autentica no SMTP, o servidor pode aceitar seus e-mails e encaminhá-los para outros servidores MX, mas não pode permitir o download de e-mails existentes do servidor.
Se você quiser ler e-mails no seu celular ou no seu PC, precisará usar o protocolo IMAP ou POP3. Para ativar a leitura de e-mails - você precisará configurar o Dovecot (ou algum outro serviço que atenda ao POP3 / IMAP).
Além disso, no crescente acesso à rede sem fio, aconselho-o a configurar IMAPS e / ou POP3S obrigatórios - são variantes SSL criptografadas dos protocolos IMAP e POP. E-mail é um material privado e deve ser escondido de olhos curiosos farejando a rede;)