O Courier imapd tenta fazer pesquisas reversas de DNS e ident por padrão. Certifique-se de desativá-los, pois um ou outro (ou ambos) é a causa mais provável (e fazer pesquisas reversas de DNS no momento da conexão leva a uma segurança ruim).
Por exemplo:
/usr/lib/courier-imap/libexec/couriertcpd ... -nodnslookup -noidentlookup ...
Verifique os scripts de inicialização do seu sistema para descobrir como ele deseja adicionar essas opções ao comando.