Eu estava com esse problema e consegui resolvê-lo assim: eu uso o qmail, então eu olhei no arquivo de log:
tail -f /usr/local/psa/var/log/maillog
E encontrei muitas mensagens como estas:
Apr 11 17:43:26 vpsXXXXX courier-imapd: Maximum connection limit reached for ::ffff:IPADDRESS
Então eu fui para o arquivo de configuração:
nano /etc/courier-imap/imapd
e editado esta linha:
#
# Maximum number of connections to accept from the same IP address
MAXPERIP=20
(você pode brincar com esta configuração e outros no arquivo - apenas tenha cuidado). Então você só precisa reiniciar o servidor:
/etc/init.d/courier-imaps restart
/etc/init.d/courier-imapd restart
E você é bom para ir. Espero que ajude.